Kamery monitoringu są dziś niemal wszędzie – na ulicach, parkingach, lotniskach i w centrach handlowych. Coraz częściej nie służą jedynie do rejestrowania obrazu, lecz wykorzystują sztuczną inteligencję do automatycznego wykrywania ludzi, pojazdów czy twarzy. Okazuje się jednak, że taki system można oszukać w zaskakujący sposób.
Badacz zajmujący się bezpieczeństwem opracował specjalny wzór, który potrafi dezorientować algorytmy odpowiedzialne za rozpoznawanie obiektów. Nie sprawia, że kamera przestaje nagrywać. Powoduje natomiast, że sztuczna inteligencja nie rozpoznaje osoby lub pojazdu, przez co nie uruchamia automatycznych powiadomień ani nie oznacza ich jako wykrytych.
To nie peleryna niewidka
Autorem projektu jest badacz Bill Swearingen, który przez blisko rok rozwijał system nazwany noRecognition. Wykorzystał uczenie ze wzmocnieniem (reinforcement learning) do wygenerowania wzorów zakłócających działanie algorytmów rozpoznawania obrazu. Program przeprowadził dziesiątki milionów symulacji, aby znaleźć układy graficzne skutecznie mylące różne modele sztucznej inteligencji.
Najważniejsze jest jednak to, czego rozwiązanie nie robi. Kamera nadal rejestruje obraz, a człowiek oglądający nagranie bez problemu zobaczy osobę lub samochód. Problem dotyczy wyłącznie automatycznej analizy wykonywanej przez algorytmy, które mogą nie wykryć obiektu znajdującego się w kadrze.
Test zakończył się sukcesem
Swój projekt badacz zaprezentował podczas konferencji Def Con. Jednym z pokazów było oklejenie samochodu wygenerowanym wzorem i przejazd przed kamerą wykorzystywaną przez system Flock Safety. Według autora demonstracja zakończyła się powodzeniem – kamera nie oznaczyła pojazdu jako wykrytego, mimo że cały czas znajdował się on w polu widzenia.
Twórca twierdzi również, że opracowane wzory potrafią zakłócać działanie wielu popularnych algorytmów wykorzystywanych w systemach monitoringu. Z tego powodu nie zamierza udostępniać najbardziej skutecznych projektów publicznie. Obawia się, że producenci mogliby szybko nauczyć swoje modele rozpoznawania takich wzorów, ale równie dobrze mogłyby zostać wykorzystane do niewłaściwych celów.
To dopiero początek wyścigu
Badania pokazują, że sztuczna inteligencja wciąż może mieć problemy z odpowiednią interpretacją obrazu, zwłaszcza gdy otrzyma specjalnie przygotowane dane wejściowe. Tego typu rozwiązania określa się mianem ataków adwersarialnych – niewielkie zmiany niewidoczne lub mało istotne dla człowieka potrafią całkowicie zmylić algorytm.
Nie oznacza to jednak końca monitoringu opartego na sztucznej inteligencji. Przeciwnie, podobne odkrycia zwykle prowadzą do opracowania skuteczniejszych metod wykrywania prób oszukania systemów. Dzisiejszy wzór może więc stać się impulsem do kolejnej rundy technologicznego wyścigu pomiędzy twórcami algorytmów rozpoznawania obrazu a badaczami próbującymi znaleźć ich słabe punkty.
Źródło: TechCrunch
Zdjęcie otwierające: Bill Swearingen