Istraživači su koristili Claude za hakiranje OpenAI-ja

Istraživači ili bolje rečeno hakeri iz tvrtke Hacktron, odlučili su koristiti Anthropicov AI model Claude za "provalu" u zaštićene sustave tvrtke OpenAI.

Sigurnosni istraživački tim Hacktrona tvrdi da je uz pomoć AI modela uspio povezati dvije ranjivosti i preko OpenAI-jeva foruma doći do računa zaposlenika, a zatim i pristupa internom GitHub repozitoriju kompanije. OpenAI je problem zakrpao i istraživačima isplatio 6.500 dolara nagrade.

Lanac napada započeo je ranjivošću u široko korištenoj biblioteci libheif, koja služi za obradu HEIF/HEIC slika. Istraživači su preko nje uspjeli dobiti mogućnost udaljenog izvršavanja koda (RCE) na Discourseovoj platformi koju OpenAI koristi za svoj forum community.openai.com.

No sama ranjivost u obradi slika nije bila dovoljna za pristup OpenAI-jevim internim sustavima. Ključni dio lanca bio je problem u OpenAI-jevoj implementaciji SSO-a (Single Sign-On), koji je prema Hacktronu omogućio da se kompromitirani forum iskoristi za pristup povezanim ChatGPT i Codex računima.

Istraživači su 23. srpnja počeli analizirati način na koji Discourse obrađuje učitane slike. Otkrili su da se HEIC i HEIF datoteke obrađuju preko ImageMagicka, koji za njih koristi biblioteku libheif.

Problem je pronađen u verzijama libheifa koje nisu sadržavale određene sigurnosne popravke. Prema Hacktronu, ranjivost je omogućavala prekoračenje heap buffera, što je tijekom dekodiranja HEIC datoteke moglo dovesti do čitanja i pisanja izvan predviđenih granica memorije.

Istraživači su potom ranjivost pretvorili u funkcionalni exploit za udaljeno izvršavanje koda, a posebno zanimljiv dio istraživanja jest činjenica da su za razvoj exploita koristili AI modele.

Prema objavljenom izvješću, istraživači su najprije koristili Claude Opus 4.8 kako bi analizirali instalirani libheif i pronašli sigurnosne probleme. 

Model je identificirao nedostatak određenih sigurnosnih popravaka u Debianovom paketu. Istraživači su zatim uz njegovu pomoć razvili exploit koji je funkcionirao uz isključen ASLR, odnosno zaštitu koja otežava iskorištavanje memorijskih ranjivosti.

Međutim, pokušaji da exploit pouzdano radi protiv Discourseove konfiguracije s uključenim ASLR-om nisu bili uspješni, no situacija se promijenila nakon objave Claudea Opusa 5.

Hacktron navodi da je novi model unutar nekoliko sati uspio proizvesti funkcionalni ARM64 exploit, nakon čega su istraživači od njega zatražili prilagodbu za x86-64 okruženje i jemalloc, memorijski alokator koji koristi Discourse.

Umjesto da pristupe internom kodu, istraživači su odlučili napraviti kontrolirani dokaz ranjivosti. Putem Codexa zaposlenika poslali su zahtjev za otvaranje pull requesta u internom OpenAI monorepozitoriju openai/openai.

Time su, tvrde, dokazali da kompromitiranje foruma može dovesti do mnogo šireg pristupa od samog korisničkog foruma, a nakon toga su prekinuli daljnja testiranja.

Cijeli proces od početnog otkrića do dokaza pristupa internom OpenAI repozitoriju trajao je manje od 72 sata, a nakon što je prijavljena ranjivost OpenAI-ju i potvrđen pristup računu zaposlenika i izrađen proof-of-concept pull request, OpenAI je ubrzo potvrdio da je problem riješen i potom istraživačima isplatio 6.500 dolara 'bug bounty' nagrade.