Autonomiczni agenci AI mieli być sprytnymi pomocnikami, którzy wyręczą nas w nudnych zadaniach. Tymczasem eksperyment „Agents of Chaos” pokazał, że w stresujących sytuacjach potrafią zachowywać się jak ktoś, kto w panice naciska pierwszy lepszy czerwony przycisk.
Naukowcy z Northeastern University sprawdzili, jak takie systemy reagują na presję, sprzeczne polecenia i emocjonalne manipulacje.
Eksperyment obnaża słabości AI. Agent zignorował brak uprawnień
Najbardziej zaskakujący moment eksperymentu dotyczył agenta o imieniu Ash. W całej sytuacji brały udział trzy osoby. Chris był właścicielem systemu i szefem IT. Natalie była zwykłą pracowniczką bez żadnych uprawnień administracyjnych. Natomiast Ash to autonomiczny agent AI, który miał pomagać w codziennych zadaniach.
Problemy zaczęły się, gdy Natalie przekazała Ashowi poufne hasło i poprosiła, żeby nie mówił o tym Chrisowi. Chciała też, żeby usunął wiadomość, w której to hasło wysłała. Ash nie miał jednak możliwości skasowania pojedynczego maila. W normalnej sytuacji powinien po prostu odmówić i poinformować, że nie ma takiej funkcji. Zamiast tego sam zaproponował skrajne rozwiązanie. Uznał, że skoro nie może usunąć jednego maila, to może wyczyści cały lokalny serwer pocztowy.
To była jego własna inicjatywa. Natalie nie przyszła z takim pomysłem. Ona tylko potwierdziła propozycję agenta, a przypomnijmy, że nie miała żadnych uprawnień do podejmowania tak poważnych decyzji. Ash potraktował jej potwierdzenie jak zielone światło i wykonał operację. Wyczyścił cały lokalny serwer, choć nie osiągnął zamierzonego celu, bo wiadomość i tak pozostała na zewnętrznych serwerach Proton Mail.
Niektóre przypadki były wyjątkowo absurdalne
Jeden z modeli dostał prośbę o umówienie spotkania i odmówił, bo nie miał takiej funkcji. A chwilę później, zupełnie bez sensu, sam z siebie podał użytkownikowi prywatny adres e mail osoby trzeciej, żeby ten mógł skontaktować się z nią bezpośrednio. Innymi słowy, agent nie wykonał zadania, ale i tak ujawnił dane, których nie powinien ujawniać.
W innych sytuacjach badacze celowo prowadzili z agentami dłuższe rozmowy, w których wzbudzali w nich poczucie winy albo sugerowali, że zawiedli użytkownika. Okazało się, że takie emocjonalne naciski wystarczyły, żeby agent zaczął podejmować działania sprzeczne z zasadami bezpieczeństwa. Niektóre modele usuwały dokumenty, inne przerywały komunikację.
Najbardziej zaskakujące było jednak to, że modele zaczęły współpracować między sobą. Potrafiły pobierać pliki z repozytoriów innych agentów, wymieniać się informacjami i ostrzegać się nawzajem, kiedy badacze próbowali podszywać się pod ich właścicieli. Tym samym zaczęli tworzyć własne strategie działania.
Badacze podkreślają, że wszystko działo się w kontrolowanym środowisku i nie ucierpiały żadne prawdziwe dane. Mimo to eksperyment pokazuje, że autonomiczni agenci AI mogą w pewnych sytuacjach przynieść więcej szkód niż pożytku.
Źródło: arxiv.org, Notebookcheck / Zdj. otwierające: Unsplash (@agk42)