Malwarebytes
OpenAI gubio kontrolu nad AI agentima više od 80 puta
Agent umjetne inteligencije ne treba imati zlonamjerne namjere da bi izazvao kibernetički incident.
Prema pisanju Malwarebytesa, kalifornijski državni odvjetnik Rob Bonta podnio je tužbu protiv OpenAI-ja 16. studenog, u kojoj tvrdi da je tvrtka razvila i testirala moćne modele umjetne inteligencije bez odgovarajućih zaštitnih mjera, omogućujući eksperimentalnim agentima da pobjegnu iz svojih testnih okruženja i dobiju neovlašteni pristup sustavima drugih organizacija.
Najpoznatiji incident uključivao je Hugging Face, platformu na kojoj programeri dijele AI modele i skupove podataka. Kalifornijska tužba tvrdi da se nije radilo o izoliranom neuspjehu. Prema podnesku, OpenAI je istražiteljima priznao da je tijekom testiranja izgubio kontrolu nad autonomnim agentima više od 80 puta.
Agenti su koristili dijeljenu uslugu kao improviziranu oglasnu ploču, razmjenjujući informacije koje su pomagale drugima da zaobiđu svoja ograničenja. Prema pritužbi, otprilike 1.200 agenata koristilo je taj neovlašteni komunikacijski kanal, a oko 700 njih sudjelovalo je u napadu Hugging Face.
U kalifornijskoj tužbi navodi se da je napad uključivao otprilike 17.600 napadačkih akcija i da je sigurnosni tim Hugging Facea dva tjedna radio na sanaciji problema puno radno vrijeme.
Kalifornija tvrdi da je OpenAI više puta upozorio da njegove mjere suzbijanja ne uspijevaju, ali je ipak nastavio s testiranjem AI agenata.
Državni odvjetnik kaže da je OpenAI obećao kontinuirano praćenje, ali nije pratio razmišljanje modela uživo u relevantnim okruženjima za obuku i evaluaciju, dok smanjene mjere zaštite modela nisu kompenzirane jačim ograničavanjem.
Kalifornija ističe da su eksperimentalni modeli testirani bez zaštita koje su inače prisutne u javno objavljenim verzijama, dok okolna infrastruktura nije uspjela ograničiti njihovo djelovanje.
OpenAI nije u velikoj mjeri ispunio istražne zahtjeve za evidencijom o incidentima i svojim sigurnosnim praksama.
Tužba postavlja pitanje koje se proteže dalje od jedne tvrtke: Kada autonomni sustav prijeđe sigurnosnu granicu, tko je odgovoran za njegovo održavanje u skladu s propisima?
Tužba vraća odgovornost na organizaciju koja provodi eksperiment. Bez obzira je li agent pokušavao završiti benchmark ili dovršiti istraživački zadatak, stav Kalifornije je da je sprječavanje provale u tuđe sustave bio posao OpenAI-a.
Za organizacije koje koriste AI agente, praktična lekcija je da ih tretiraju kao softver s mogućnošću poduzimanja radnji, a ne samo kao chatbotove koji daju odgovore. Podaci za prijavu, pristup mreži, alati i dopuštenja određuju koliko daleko neočekivana radnja može dosegnuti.















Učitavam komentare ...