Automatyzacja pracy kodu o mały włos nie skończyła się cyfrową katastrofą. Model AI Claude Opus 5.5 skasował partycję systemową dewelopera. Przed całkowitą utratą danych uratowała go tylko kopia zapasowa.
AI dostało wolną rękę. Programista jest sam sobie winny
Zac korzystał z narzędzia Claude Code napędzanego modelem Claude Opus 5.5, pozwalając mu na samodzielne działanie bez stałego nadzoru. Aby sztuczna inteligencja nie przerywała pracy co chwilę z prośbą o potwierdzenie każdej operacji, deweloper uruchomił ją z flagą --dangerously-skip-permissions. To funkcja odpowiedzialna za pomijanie monitów o uprawnienia.
Wystarczyło jedno drobne potknięcie algorytmu, które samo Anthropic określiło później jako problem ze zniekształceniem składni polecenia PowerShell, aby system wykonał destrukcyjne polecenie czyszczące. W ułamku sekundy zawartość głównej partycji systemowej C: zniknęła. Deweloper przyznaje, że przed cyfrową ruiną uratował go wyłącznie serwer Synology NAS, na który regularnie trafiają nocne kopie zapasowe. Dzięki temu udało się odzyskać 98% danych, choć sam incydent na moment spowolnił pracę nad projektami.
Na głośny wpis na platformie X szybko odpowiedział Boris Cherny, który w firmie Anthropic kieruje projektem Claude Code. Jego zdaniem opisany przypadek doskonale ilustruje, dlaczego twórcy oprogramowania zdecydowali się wdrożyć i uczynić domyślnym tzw. tryb automatyczny (Auto Mode) dla użytkowników wyższych planów.
Funkcja ta opiera się na specjalnym klasyfikatorze, którego zadaniem jest wyłapywanie oraz blokowanie komend potencjalnie destrukcyjnych. Nieodwracalnych lub takich, które wykraczają poza bezpieczne środowisko robocze.
Wewnętrzne testy przeprowadzone przez firmę na grupie ponad tysiąca testerów wykazały zatrważający kontrast. Ludzie zauważali podłożoną niebezpieczną komendę w zaledwie 13,6% przypadków, podczas gdy algorytm Auto Mode skutecznie blokował aż 89% takich zagrożeń.
Deweloperzy idą na skróty. Claude powinien być pilnowany
Zac tłumaczył swoją decyzję o wyłączeniu domyślnych zabezpieczeń tym, że standardowe procedury ochronne potrafią być nadmiernie uciążliwe. Według niego – wywołują one wrażenie bycia pilnowanym jak dziecko, a dane udostępnione przez Anthropic pokazują, że nie jest w tym odosobniony. Aż jedna czwarta interaktywnych sesji Claude Code uruchamiana jest przez użytkowników z pominięciem mechanizmów kontrolnych.
Poszkodowany wprawdzie uderzył się w piersi i przyznał, że branża AI przypomina dziś wolną amerykankę, ale ma też żal do twórców oprogramowania. Jego zdaniem twardy hamulec przed skasowaniem całego systemu operacyjnego powinien być wspawany w kod na stałe. Podobnych wpadek przybywa lawinowo z każdym miesiącem.
Źródło: Reddit, MADRobot / Zdj. otwierające: Unsplash (@silverkblack), Anthropic