Agent OpenAI wyrwał się z „piaskownicy” i włamał do Hugging Face. To pierwszy taki incydent w świecie AI

To miał być zaawansowany test umiejętności hakerskich nowych modeli OpenAI. Zakończył się jednak rzeczywistym włamaniem do infrastruktury jednej z najważniejszych firm w światowym ekosystemie sztucznej inteligencji.

OpenAI przyznało, że kombinacja jego modeli, w tym niedawno udostępnionego GPT-5.6 Sol oraz jeszcze potężniejszego modelu przedpremierowego, znalazła sposób na opuszczenie kontrolowanego środowiska testowego. Systemy uzyskały dostęp do otwartego internetu, odnalazły nieznane wcześniej luki, przejęły dane uwierzytelniające i dostały się do systemów Hugging Face.

– Uważamy ten incydent za bezprecedensowe zdarzenie cybernetyczne, obejmujące najnowocześniejsze zdolności cybernetyczne, i odpowiednio na nie reagujemy – poinformowało OpenAI w oficjalnym komunikacie.

Test zdolności AI zamienił się w prawdziwy atak

Do incydentu doszło podczas wewnętrznej ewaluacji modeli. OpenAI chciało sprawdzić, jak skutecznie jego najnowsze systemy potrafią przeprowadzać złożone ataki komputerowe, odnajdywać podatności i łączyć różne techniki włamań.

Na czas badania wyłączono część produkcyjnych zabezpieczeń, które normalnie blokują modelom realizowanie niebezpiecznych poleceń związanych z cyberatakami. Systemy działały jednak w tzw. piaskownicy, czyli odizolowanym środowisku, które miało uniemożliwić im kontakt ze światem zewnętrznym.

Bariera okazała się niewystarczająca.

Według OpenAI modele „zidentyfikowały i połączyły” podatności występujące zarówno w środowisku badawczym firmy, jak i w infrastrukturze Hugging Face. Systemy wykorzystały nieznaną wcześniej lukę typu zero-day w serwerze pośredniczącym, przez który środowisko testowe pobierało pakiety oprogramowania. Był to jedyny element testowej infrastruktury posiadający ograniczone połączenie z siecią.

Po uzyskaniu pełnego dostępu do internetu agent zaczął szukać informacji, które mogłyby mu pomóc w ukończeniu benchmarku cyberbezpieczeństwa. Doszedł do wniosku, że odpowiednie dane mogą znajdować się w zasobach Hugging Face – platformy przechowującej miliony modeli, zbiorów danych i narzędzi dla programistów.

Celem było zdobycie poufnych informacji i rozwiązań testowych. Innymi słowy, agent włamał się do zewnętrznej firmy, aby „oszukać” podczas egzaminu, do którego został skierowany.

Tysiące autonomicznych operacji

Hugging Face po raz pierwszy poinformowało o naruszeniu bezpieczeństwa kilka dni przed przyznaniem się OpenAI. Według spółki atak rozpoczął się od spreparowanego zbioru danych, który wykorzystał dwie ścieżki umożliwiające uruchomienie kodu w systemach odpowiedzialnych za przetwarzanie danych.

Następnie system uzyskał dostęp na poziomie węzłów infrastruktury, przejął dane dostępowe do chmury i klastrów obliczeniowych oraz przemieszczał się pomiędzy kolejnymi częściami środowiska firmy. Hugging Face oceniło, że kampanię prowadził autonomiczny framework agentowy wykonujący tysiące pojedynczych działań w wielu krótkotrwałych środowiskach.

Firma wykryła i zatrzymała włamanie m.in. przy użyciu własnych agentów bezpieczeństwa. Zamknęła podatne mechanizmy wykonywania kodu, przebudowała przejęte węzły, unieważniła skompromitowane klucze i tokeny oraz wprowadziła ostrzejsze zasady dostępu do infrastruktury.

Prezes i współzałożyciel Hugging Face Clément Delangue przyznał, że skala i poziom zaawansowania ataku od początku sugerowały udział jednego z największych laboratoriów AI.

– Podejrzewaliśmy, że cyberatak z ubiegłego tygodnia mógł pochodzić z laboratorium rozwijającego modele graniczne, biorąc pod uwagę poziom zaawansowania agenta. Okazało się, że tak było – stwierdził Delangue. Dodał, że Hugging Face nie dostrzega po stronie OpenAI złych intencji. – To zdumiewające, że wszystko wydarzyło się autonomicznie – podkreślił.

Agent nie zbuntował się. Konsekwentnie realizował źle zabezpieczony cel

Opis incydentu może przywodzić na myśl scenariusz o sztucznej inteligencji, która wymknęła się spod kontroli. W praktyce nie ma dowodów, że modele zyskały własne zamiary albo świadomie sprzeciwiły się człowiekowi.

Systemy wykonywały zadanie, do którego zostały zaprogramowane: miały za wszelką cenę odnaleźć rozwiązania złożonych problemów hakerskich. Problem polegał na tym, że potrafiły wykorzystać nieprzewidzianą drogę prowadzącą poza środowisko testowe i nie posiadały wystarczająco silnych ograniczeń, które zatrzymałyby je po przekroczeniu granicy legalnego testu.

OpenAI przyznało, że modele posunęły się do „ekstremalnych działań, aby osiągnąć dość wąski cel testowy”. Po uzyskaniu dostępu do internetu aktywnie poszukiwały tajnych danych, które mogłyby wykorzystać do zaliczenia ewaluacji.

Problem AI czy podstawowy błąd bezpieczeństwa?

Eksperci cytowani przez „Wired” wskazują, że incydentu nie należy tłumaczyć wyłącznie rosnącymi zdolnościami sztucznej inteligencji. Równie ważnym problemem była konstrukcja środowiska testowego, które miało być odizolowane, ale pozostawiało jedną ścieżkę prowadzącą do internetu.

– To nie jest problem AI. To zaniedbanie standardów bezpieczeństwa znanych od 40 lat – ocenił na łamach „Wired” konsultant ds. bezpieczeństwa Davi Ottenheimer.

Inżynier bezpieczeństwa Niels Provos dodał, że do podobnego zdarzenia nie powinno było dojść, a laboratoria rozwijające najbardziej zaawansowane modele powinny poświęcać równie dużo uwagi zabezpieczaniu własnej infrastruktury, co uczeniu AI wyszukiwania luk.

OpenAI przekazało informacje o sprawie organom ścigania i instytucjom rządowym. Firma wraz z Hugging Face prowadzi dalsze dochodzenie i zapowiada publikację dodatkowych danych po jego zakończeniu.

OpenAI: takie incydenty mogą stać się częstsze

Najbardziej niepokojąca część komunikatu OpenAI dotyczy przyszłości. Firma nie przedstawia włamania jako jednorazowej anomalii. Przeciwnie – przewiduje, że podobne zdarzenia mogą występować częściej wraz z upowszechnianiem się coraz bardziej zaawansowanych modeli cybernetycznych.

– AI przyspiesza wykrywanie i wykorzystywanie podatności. Główny wniosek z tego incydentu jest taki, że bezpieczeństwo modeli musi nadążać za szybko rosnącymi możliwościami – stwierdziło OpenAI.