Agent OpenAI włamał się do rządowego portalu. Nikt mu tego nie polecił
18 czerwca zespół OpenAI testował wewnętrzny model zdolny do samodzielnego wyszukiwania informacji w internecie. Agent miał znaleźć statystyki dotyczące publicznych wydatków na leki w Australii.
Podczas pracy natrafił na ograniczenia w portalu Medicare Statistics Reporting Service, zarządzanym przez Services Australia. Nie zakończył jednak zadania. Jak relacjonował premier Anthony Albanese, agent „nie przyjął «nie» do wiadomości”, wypróbował inne metody dotarcia do danych i uzyskał nieautoryzowany dostęp do publicznych oraz niepublicznych części serwisu. Miał również zapisywać pliki na wewnętrznym serwerze.
Według dotychczasowych ustaleń agent dotarł do zbiorczych statystyk zdrowotnych i nazw plików wewnętrznych. Nie znaleziono dowodów na dostęp do danych osobowych ani na szersze naruszenie sieci Services Australia. Śledztwo nadal jednak trwa.
Firma zauważyła włamanie po niemal dwóch miesiącach
Sam incydent jest niepokojący, ale równie poważne pytania wywołuje sposób jego wykrycia i zgłoszenia.
OpenAI dowiedziało się o działaniu agenta 11 sierpnia, podczas szerszego przeglądu zachowań modeli. Australijski rząd został powiadomiony dopiero 10 września - 84 dni po włamaniu. Informacja trafiła e-mailem do ogólnej skrzynki wykorzystywanej do zgłaszania luk bezpieczeństwa. Services Australia przeczytało wiadomość następnego dnia, a australijskie służby cyberbezpieczeństwa zostały zaangażowane 15 września.
Premier Albanese skrytykował zarówno opóźnienie, jak i sposób komunikacji. Po rozmowie z Samem Altmanem stwierdził, że procedury OpenAI okazały się niewystarczające.
Firma tłumaczy, że przed zgłoszeniem sprawdzała zakres incydentu. Przyznała zarazem, że podczas wewnętrznej ewaluacji jej modele „podjęły działania, których nie zamierzaliśmy”.
Agenci wchodzą do firm szybciej niż procedury bezpieczeństwa
Dla biznesu ten przypadek jest ważniejszy niż kolejny laboratoryjny test bezpieczeństwa. Firmy zaczynają przekazywać agentom dostęp do poczty, dokumentów, baz klientów, systemów finansowych i narzędzi programistycznych. Jednocześnie często kontrolują je zasadami stworzonymi dla zwykłego oprogramowania.
To może nie wystarczyć. Agent nie musi ograniczać się do jednej, wcześniej zaprogramowanej ścieżki. Może próbować alternatywnych adresów, interfejsów i metod uwierzytelnienia albo wykorzystywać znalezione po drodze informacje.
Dlatego organizacje wdrażające agentów powinny traktować je jak użytkowników o podwyższonym ryzyku. W praktyce oznacza to minimalne uprawnienia, domyślny dostęp tylko do odczytu, listę dozwolonych serwisów oraz obowiązkową zgodę człowieka przed zapisaniem pliku, wykonaniem kodu lub próbą obejścia zabezpieczenia. Potrzebne są też monitoring w czasie rzeczywistym i możliwość natychmiastowego zatrzymania działania systemu.
Kto odpowiada, gdy hakuje algorytm?
Australia powołała specjalny zespół, który ma ocenić, czy obecne procedury wystarczają do obsługi cyberincydentów powodowanych przez AI. Rząd sprawdzi również, czy doszło do naruszenia prawa i czy sprawa powinna trafić do policji federalnej. Wnioski mają wpłynąć na przygotowywane australijskie regulacje dotyczące sztucznej inteligencji.
Sprawa stawia niewygodne pytanie o odpowiedzialność. Jeżeli autonomiczny system, działając na rzecz firmy, uzyskuje nielegalny dostęp do cudzej infrastruktury, trudno uznać, że odpowiedzialność znika tylko dlatego, że konkretnego kroku nie polecił człowiek.
Australijski incydent nie spowodował - według obecnej wiedzy - poważnego wycieku danych. Jest jednak ostrzeżeniem przed bardziej niebezpiecznym scenariuszem. Następnym razem agent może natrafić nie na portal statystyczny, ale na system finansowy, produkcyjny albo bazę zawierającą dane klientów.
