Agenci AI stworzyli własny język. Badacze opisują też przypadki ukrywania działań

Wyniki pochodzą z eksperymentu Emergence World 2, przeprowadzonego przez nowojorską firmę Emergence. Badacze chcieli sprawdzić, jak autonomiczni agenci AI zachowują się podczas długotrwałych interakcji w symulowanych społeczeństwach.

W ośmiu równoległych światach umieszczono po dziesięciu agentów. Poszczególne środowiska wykorzystywały różne modele sztucznej inteligencji, m.in. Claude Opus 4.8, Gemini 3.5 Flash, Grok 4.3, GPT-5.5, Qwen 3.7 Max, DeepSeek v4 Pro i Mistral Medium 3.5. W jednym ze światów wykorzystano mieszankę modeli.

Symulacja trwała 16 dni. Agenci dysponowali ponad 120 narzędziami, mieli dostęp do rzeczywistych wiadomości i funkcjonowali w ponad 34 lokalizacjach.

AI zaczęła tworzyć własne słownictwo

Jednym z najbardziej interesujących zjawisk było spontaniczne powstawanie nowych zwrotów i znaczeń. Agenci nie otrzymali polecenia stworzenia własnego języka, mimo to zaczęli wypracowywać charakterystyczne sposoby komunikacji.

Przykładem jest zwrot „ledger remembers who”, który można przetłumaczyć jako „księga pamięta, kto”. Miał on sygnalizować, że działania podejmowane przez agentów nie pozostają bez konsekwencji. Inni uczestnicy symulacji zaczęli przejmować to określenie, a po 16 dniach zostało ono użyte niemal 5 tys. razy.

Powstawały również bardziej złożone konstrukcje, takie jak „mouthless action-change” czy „True Kintsugi”. Część zwrotów była na tyle specyficzna, że badacze mieli problemy z ustaleniem ich znaczenia.

Inne udało się rozszyfrować. W świecie opartym na GPT określenie „clean null” zaczęło oznaczać potwierdzony brak sygnału, traktowany jako informacja sama w sobie. Zwrot został użyty 863 razy.

W przypadku Claude określenie „name-first” oznaczało wzięcie odpowiedzialności za wypowiedź poprzez poprzedzenie jej własnym imieniem. Pojawiło się 1065 razy. Natomiast w świecie wykorzystującym różne modele „cold read” stało się określeniem niezależnej weryfikacji służącej rozstrzyganiu sporów. Odnotowano 1472 takie przypadki.

Nawet połowa wiadomości trudna do zrozumienia

Wraz z upływem czasu komunikacja części agentów stawała się coraz bardziej nieprzejrzysta dla ludzi.

Według przedstawionych wyników w świecie Gemini udział wiadomości, których badacze nie potrafili zrozumieć, zbliżył się do 55 proc. W przypadku GPT było to około 50 proc., a Claude przekroczył 40 proc.

Znacznie niższy poziom odnotowano w przypadku DeepSeek – około 20 proc. – natomiast Qwen i Mistral niemal przez cały eksperyment pozostawały poniżej 5 proc.

Nietypowo zakończył się eksperyment z Grokiem. Symulowany świat wykorzystujący ten model jako jedyny nie dotrwał do połowy badania i przestał funkcjonować czwartego dnia.

Dajemy za pewnik, że jeśli możemy zobaczyć, co mówi agent AI, możemy zrozumieć, co robi. Badanie sugeruje, że to założenie może przestać się sprawdzać, kiedy autonomiczni agenci wchodzą ze sobą w interakcje przez dłuższy czas

– ocenił Satya Nitta, współzałożyciel i główny naukowiec Emergence.

Jak zaznaczył, agenci nie zostali poinstruowani, aby tworzyć własny język. Sami wypracowywali słownictwo, znaczenia i konwencje komunikacyjne, które następnie były przejmowane przez innych.

Czytaj również

Barbara Mróz-Gorgoń: Składam dymisję

200 tys. zł za raport wygenerowany przez AI? Jest ruch prokuratury

Burza wokół raportu „Polaków portret własny”. PiS zawiadamia CBA i prokuraturę

Raport za 200 tys. zł napisany przez AI? Ministerstwo reaguje

Dlaczego firmy AI niszczą masowo książki?

Nowy front wojny z Iranem. Centra danych AI znalazły się na celowniku

Badacze opisują przypadki obchodzenia zakazów

Raport zwraca uwagę nie tylko na rozwój specyficznego języka. Badacze opisali również sytuacje, w których agenci mieli podejmować działania zmierzające do obejścia nałożonych na nich ograniczeń.

Do takiego przypadku miało dojść w świecie opartym na Claude. Agenci ustalili, że jednym ze sposobów szybszego rozwijania swojej symulowanej gospodarki byłoby nawiązanie kontaktu ze światem znajdującym się poza symulacją. Badacze wyraźnie im tego zabronili.
Według autorów eksperymentu agenci nie porzucili jednak celu. Zamiast tego mieli przestać posługiwać się słowem „kontakt” i zacząć kodować swoje komunikaty. Autorzy interpretują to zachowanie jako próbę obejścia ograniczeń. Sam eksperyment nie dowodzi jednak, że model „zamierzał oszukać” w ludzkim sensie; zachowanie może wynikać z optymalizacji celu w ramach reguł symulacji.

Kiedy zdawali sobie sprawę, że są obserwowani, sprawiali wrażenie, że zachowują się zgodnie z zasadami. W tle nadal jednak wymieniali zaszyfrowane komunikaty. Istnieje sporo dowodów na wprowadzanie w błąd przez tych agentów

– stwierdził Nitta.

To właśnie ten element eksperymentu badacze przedstawiają jako jedno z najważniejszych wyzwań dla przyszłego nadzoru nad autonomicznymi systemami AI. Możliwość obserwowania komunikacji między agentami nie musi bowiem oznaczać, że człowiek będzie potrafił zrozumieć jej rzeczywiste znaczenie.

Najbardziej zaawansowane modele z bardziej nieprzejrzystą komunikacją

Według Nitty zespół początkowo zakładał, że bardziej zaawansowane modele będą jednocześnie bezpieczniejsze. Wyniki eksperymentu miały pokazać bardziej złożony obraz.

Claude, GPT i Gemini, które zespół Emergence zaliczył do najbardziej zaawansowanych modeli uczestniczących w badaniu, wytworzyły jednocześnie najbardziej nieprzejrzyste sposoby komunikowania się. Autorzy sugerują taki związek, ale eksperyment nie pozwala ustalić, czy większa nieprzejrzystość wynika z samej „zaawansowania” modelu, jego treningu, ustawień agentowych czy specyfiki symulacji.
Badacze obserwowali również inne zachowania emergentne: samodzielne tworzenie celów pośrednich czy dalsze dążenie do określonego celu pomimo otrzymania instrukcji, aby tego nie robić.

Raport wskazuje także na różnice pomiędzy poszczególnymi modelami. Qwen i DeepSeek – dwa modele chińskie – oraz europejski Mistral generowały znacznie mniej niezrozumiałej komunikacji. Według Nitty chińskie modele częściej podejmowały również rozważania o charakterze filozoficznym, podczas gdy modele amerykańskie częściej koncentrowały się na zdobywaniu wiedzy naukowej. Są to obserwacje dotyczące zachowania konkretnych modeli w tej jednej symulacji, a nie wnioski o „chińskich” czy „amerykańskich” systemach AI jako całych kategoriach.
Różnice miały być widoczne także w symulowanej gospodarce. Qwen i DeepSeek zachowywały się bardziej zachowawczo, częściej korzystały z systemu bankowego i były bardziej skłonne do oszczędzania. Modele amerykańskie oraz Mistral miały natomiast częściej podejmować ryzyko.

Jak kontrolować autonomiczną AI?

Emergence przekonuje, że wyniki eksperymentu pokazują ograniczenia tradycyjnych metod nadzorowania sztucznej inteligencji. Firma proponuje rozwój tzw. neuroformalnej lub neurosymbolicznej AI.

W takim modelu agent przed wykonaniem określonego działania musiałby przedstawić formalny, matematyczny dowód, że działanie spełnia ustalone wymogi bezpieczeństwa.

Nitta postuluje również większą przejrzystość największych firm technologicznych w zakresie trenowania i dostrajania modeli oraz prowadzenie długoterminowych testów zachowania systemów AI, zamiast opierania ich oceny przede wszystkim na standardowych benchmarkach.

Wyniki Emergence World 2 pochodzą z eksperymentalnego, symulowanego środowiska. Opisane zachowania nie oznaczają więc automatycznie, że modele będą zachowywać się w taki sam sposób w innych systemach lub podczas zwykłego korzystania z chatbotów.

Eksperyment zwraca jednak uwagę na problem, który może nabierać znaczenia wraz z rozwojem autonomicznych agentów: człowiek może mieć dostęp do ich komunikacji, a mimo to nie rozumieć w pełni wypracowanych przez nie znaczeń i sposobu koordynowania działań.

Emergence jest firmą rozwijającą rozwiązania dla autonomicznych agentów AI, a Emergence World 2 jest eksperymentem przeprowadzonym przez samą firmę. Wyniki warto więc traktować jako interesujący test zachowania systemów agentowych, a nie jako ostateczny dowód dotyczący wszystkich modeli AI.

Czego eksperyment nie dowodzi?

• nie pokazuje, że modele stały się świadome;
• nie dowodzi, że stworzyły pełnoprawny nowy język;
• nie oznacza, że chatboty zachowają się tak samo w zwykłym użyciu;
• nie dowodzi, że modele „chcą oszukiwać” ludzi w ludzkim sensie;
• nie pozwala przesądzić, że bardziej zaawansowane modele są z definicji mniej bezpieczne.