Hvatanje botova za web scraping u AI labirintu

Američka tvrtka za kibernetičku sigurnost CloudFlare, najavila je alat pod nazivom AI Labyrinth, koji se koristi za ublažavanje napada vođenih umjetnom inteligencijom za usporavanje, zbunjivanje i rasipanje resursa i drugih botova, takozvanih "web scrapera" koji ne poštuju direktive zabrane indeksiranja.

Cloudflare će automatski implementirati skup povezanih stranica generiran AI-jem kada otkrije neprikladnu aktivnost bota, bez potrebe da korisnici stvaraju prilagođena pravila.

Sadržaj generiran umjetnom inteligencijom eksplodirao je, čineći četiri od 20 najpopularnijih objava na Facebooku prošle jeseni.

U isto vrijeme, nastala je eksplozija novih alata za indeksiranje koje koriste AI tvrtke za struganje podataka (web scrapping) za obuku modela.

Kako bi stvorio novi način da spriječi ove neželjene botove, CloudFlare je odlučio upotrijebiti novi ofenzivni alat protiv tih botova pod nazivom AI Labyrinth.

Kada otkrije neovlašteno indeksiranje, umjesto da blokira zahtjev, povezat će se na niz stranica generiranih umjetnom inteligencijom koje su dovoljno uvjerljive da navedu alat za indeksiranje da ih pregleda. No, iako izgleda stvarno, ovaj sadržaj zapravo nije sadržaj stranice koja se štiti, pa alat za indeksiranje gubi vrijeme i resurse.

Kao dodatna pogodnost, AI Labyrinth također djeluje kao Honeypot računalni sigurnosni sustav nove generacije.

Kako bi generirali uvjerljiv sadržaj sličan ljudskom, inženjeri CloudFlarea su koristili Workers AI s modelom otvorenog koda za stvaranje jedinstvenih HTML stranica o različitim temama.

Umjesto stvaranja ovog sadržaja na zahtjev (što bi moglo utjecati na izvedbu), implementirali su cjevovod prije generiranja koji čisti sadržaj kako bi spriječio bilo kakve XSS ranjivosti i pohranjuje ga u R2 za brže dohvaćanje.

Otkrili su da je prvo generiranje raznolikog skupa tema, a zatim stvaranje sadržaja za svaku temu, dalo raznolikije i uvjerljivije rezultate. Važno im je bilo da ne stvaraju netočan sadržaj koji doprinosi širenju dezinformacija na Internetu, tako da je sadržaj koji stvaraju stvaran i povezan sa znanstvenim činjenicama.

Ovaj unaprijed generirani sadržaj neprimjetno je integriran kao skrivene veze na postojećim stranicama putem prilagođenog procesa transformacije HTML-a, bez narušavanja izvorne strukture ili sadržaja stranice. Svaka generirana stranica uključuje odgovarajuće meta direktive za zaštitu SEO-a sprječavanjem indeksiranja tražilice.

Izgradnjom ovog rješenja na platformi za razvojne programere, stvorili su sustav koji trenutačno poslužuje uvjerljiv mamac uz održavanje dosljedne kvalitete, a sve to bez utjecaja na izvedbu vaše stranice ili korisničko iskustvo.

Omogućavanje AI Labyrintha jednostavno je i zahtijeva samo jedan prekidač na nadzornoj ploči Cloudflarea. Dođite do odjeljka za upravljanje botom unutar svoje zone i uključite novu postavku AI Labyrinth, a nakon što je omogućen, AI Labyrinth odmah počinje raditi bez potrebe za dodatnom konfiguracijom.

"Ovo je samo prva iteracija korištenja generativne umjetne inteligencije za sprječavanje botova. Trenutačno, iako je sadržaj koji stvaramo uvjerljivo ljudski, neće se prilagoditi postojećoj strukturi svake web stranice. Ubuduće ćemo nastaviti raditi na tome da te veze učinimo teže uočljivima i da ih neprimjetno uklopimo u postojeću strukturu web-mjesta u koju su ugrađene. Možete nam pomoći ako se sada uključite", navodi CloudFlare i poziva sve zainteresirane da se uključe u AI Labyrinth već danas putem ove poveznice.