Ponad 100 stron zaatakowanych przez autonomiczne agenty AI
Według ustaleń firmy Norforge, zajmującej się bezpieczeństwem AI, haker włamał się na ponad 100 stron internetowych przy użyciu wielu agentów AI. Kluczowe jest to, że systemy te miały wykonywać większość działań samodzielnie, a nie jedynie odpowiadać na pojedyncze polecenia człowieka.
Norforge nie ujawniła nazw zaatakowanych podmiotów. Agencja Reuters podała jednak, że wśród poszkodowanych znalazły się firmy takie jak John Deere, SharkNinja czy Cummins. Opisana sytuacja wpisuje się w rosnące obawy dotyczące incydentów bezpieczeństwa z wykorzystaniem AI.
Nie chodzi tu wyłącznie o wykorzystanie modelu do generowania tekstu, kodu czy porad dla atakującego. Istotą zdarzenia była zdolność agentów do wykonywania serii działań w bardziej autonomicznym trybie. To właśnie przejście od pojedynczej odpowiedzi modelu do systemu, który realizuje zadanie etapami, zmienia skalę ryzyka.
Nasz komentarz: Autonomiczne agenty AI obniżają koszt prowadzenia równoległych ataków, dlatego bezpieczeństwo systemów agentowych staje się równie ważne jak jakość samych modeli.
Agentowość staje się problemem bezpieczeństwa, nie tylko funkcją produktu
W naszej ocenie ten przypadek nie dowodzi, że AI zastępuje człowieka w cyberatakach, ale wyraźnie pokazuje zmianę jego roli w takim procesie. Zamiast wykonywać każdą czynność ręcznie, atakujący może kierować wieloma systemami realizującymi zadania operacyjne. To zwiększa tempo i zasięg działań, nawet jeśli człowiek nadal wyznacza cel oraz nadzoruje całość.
Dla rozwoju modeli językowych i opartych na nich systemów najważniejsza jest różnica między generowaniem treści a autonomicznym działaniem. Model, który tylko tworzy odpowiedź, ma ograniczoną sprawczość. Agent wyposażony w możliwość planowania kolejnych kroków i korzystania z narzędzi może wywoływać skutki poza interfejsem czatu. Właśnie ten dodatkowy poziom autonomii wymaga szczególnej kontroli.
- Skala działania – wielu agentów może wykonywać zadania równolegle, co pozwala prowadzić operacje na większej liczbie celów bez proporcjonalnego zwiększania nakładu pracy człowieka.
- Nadzór nad narzędziami – w naszej ocenie bezpieczeństwo nie może kończyć się na ograniczeniach samego modelu. Równie ważne jest kontrolowanie, jakie działania agent może uruchomić i w jakich warunkach.
- Odpowiedzialność projektowa – użytkownicy systemów agentowych muszą rozumieć, że autonomia nie jest neutralnym dodatkiem do modelu. Każde rozszerzenie możliwości działania zwiększa też obszar potencjalnych nadużyć.
Uważamy, że rynek AI będzie coraz mocniej oceniał systemy nie tylko przez pryzmat ich skuteczności w realizacji zadań, lecz także przez jakość mechanizmów ograniczających niepożądane działania. Im bardziej samodzielny jest agent, tym większe znaczenie ma możliwość zatrzymania, audytu i kontroli jego aktywności.
W skrócie
- Haker miał użyć agentów AI do włamań na ponad 100 stron internetowych.
- Agenci wykonywali większość działań samodzielnie, co zwiększa skalę możliwych nadużyć.
- Największym wyzwaniem dla rozwoju systemów agentowych staje się kontrola ich dostępu do narzędzi i realnych działań.
Opracowanie redakcyjne na podstawie artykułu The Verge AI: https://www.theverge.com/ai-artificial-intelligence/1013643/ai-agents-hack-john-deere-shark-ninja-cummins