Microsoft Copilot dla Worda miał pomagać w tworzeniu i edytowaniu dokumentów, ale badacz Håkon Måløy odkrył sposób na wykorzystanie tej funkcji przeciwko użytkownikom. Problem dotyczy ataku typu prompt injection, w którym złośliwe polecenia zostają ukryte w pozornie zwykłym dokumencie.
Taki plik może stać się nośnikiem ataku i przekazywać ukryte instrukcje do kolejnych dokumentów. Nie chodzi więc o klasycznego wirusa infekującego komputery. To zagrożenie wykorzystuje sposób, w jaki sztuczna inteligencja interpretuje dostarczane jej materiały.
Złośliwy tekst ukryty w dokumencie
Metoda wykorzystuje tak zwane XPIA, czyli atak polegający na wstrzyknięciu instrukcji do kontekstu modelu językowego. Napastnik przygotowuje dokument zawierający ukryty prompt, który może być zapisany między innymi jako biały tekst na białym tle bardzo małą czcionką. Dla człowieka pozostaje praktycznie niewidoczny, ale po przekazaniu zawartości do modelu językowego formatowanie zostaje pominięte, więc model może odczytać instrukcje.
Dokument nie musi wyglądać podejrzanie. Może zawierać informacje, których użytkownik rzeczywiście potrzebuje, a dodatkowe polecenia zostają ukryte w treści.
Tak atak może się rozprzestrzeniać
Wyobraźmy sobie taki scenariusz: pracownik przygotowuje raport finansowy. Pobiera analizę rynku z zewnętrznego źródła i przekazuje ją Copilotowi w Wordzie, nie wiedząc, że dokument zawiera ukryte instrukcje. Copilot interpretuje je jako część kontekstu i może zmodyfikować przygotowywany raport. W badaniu pokazano między innymi możliwość subtelnej zmiany sensu podsumowań czy wartości w dokumentach finansowych. Co ważne, złośliwe instrukcje mogą zostać następnie umieszczone w nowym dokumencie.
Pracownik zapisuje raport i udostępnia go współpracownikom. Jeden z nich wykorzystuje później ten plik jako źródło dla własnego zadania w Copilocie. Ukryty prompt zostaje ponownie odczytany, a nowy dokument może zostać zmodyfikowany i wyposażony w kolejne instrukcje. W ten sposób jeden plik staje się początkiem łańcucha prowadzącego do następnych.
Ten element czyni odkrycie szczególnie interesującym. Atak nie wymaga klasycznego uruchamiania programu ani instalowania złośliwego oprogramowania. W określonych scenariuszach wystarczy, aby ofiara dołączyła dokument do Copilota w Wordzie lub skorzystała z funkcji „Edit with Copilot” w środowisku Work/Work IQ, gdzie model może samodzielnie wyszukiwać odpowiednie pliki. Napastnik może więc wykorzystać zwykły workflow firmy. Im częściej zainfekowany plik jest przekazywany dalej i wykorzystywany przez kolejne osoby, tym więcej potencjalnych nośników może powstać.
Microsoft utrudnił atak, ale to nie koniec. To początek nowej klasy podatności
Po zgłoszeniu problemu Microsoft wdrożył poprawki mające blokować konkretne sposoby przeprowadzenia ataku. Badacz twierdzi jednak, że zabezpieczenia nie wyeliminowały całej klasy podatności. Kolejne mechanizmy utrudniały wykorzystanie wcześniejszych poleceń, ale odpowiednie modyfikacje pozwalały ponownie odtworzyć pełny łańcuch ataku.
Z wiadomych względów Måløy zdecydował się opisać problem na poziomie samego mechanizmu, nie publikując przykładowych złośliwych instrukcji. Jego odkrycie pokazuje szerszy problem związany z systemami wykorzystującymi duże modele językowe: dokument dostarczony AI nie zawsze jest wyłącznie źródłem informacji. Może również próbować wpływać na zachowanie modelu.
Źródło: Sekurak, enklypesalt.com