Kad AI sadržaj nema autora

Kada generator slika umjetne inteligencije stvara portret, čiji je rad u njega utrošen? To je pitanje u središtu tužbi, ugovora o licenciranju i predloženih propisa diljem svijeta. Umjetnici žele priznanje. Tvrtke žele jasnoću. Donositelji politika žele način dodjele odgovornosti.

Novi rad tima istraživača s MIT-ovog Laboratorija za računalne znanosti i umjetnu inteligenciju (CSAIL), sugerira da za modele obučene na velikim skupovima podataka pitanje često nema odgovor. I nije stvar u tome da su alati za njegovo pronalaženje neadekvatni.

Znanstvenici su identificirali fenomen koji nazivaju opadanjem atribucije. Što se generativni model trenira na više podataka, to je svaki pojedinačni primjer treniranja manje važan za bilo koji određeni rezultat. Čini se kontraintuitivnim, ali na dovoljno velikim skalama, često možete ukloniti bilo koju pojedinačnu sliku iz podataka za treniranje, ili svaku sliku određenog umjetnika, ili svaku fotografiju određene osobe, a generirani uzorak se ne mijenja.

„Ako uklonite dio podatka, a rezultat modela se ne promijeni, tada taj dio podatka nije utjecao na rezultat“, kaže Zheng Dai, bivši istraživač MIT CSAIL-a i glavni autor rada. „Dakle, nema puno smisla pripisivati ​​rezultat tom dijelu podatka. A ako zatim to radite jedan po jedan za svaki drugi dio podatka i otkrijete da se rezultat ne mijenja ni za jedan od njih, tada nema puno smisla pripisivati ​​rezultat bilo kojem od njih.“

„Sve prethodne metode bile su približne“, kaže profesor David Gifford s MIT-a, glavni istraživač MIT CSAIL-a. „One zapravo nisu mogle apsolutno pokazati da brisanje pojedinačnih stvari ne mijenja izlaz. Ovaj rad predstavlja prvu apsolutnu metodu. Zapravo brišete ulazne podatke i brišete sve utjecaje ulaznih podataka. Ovo je prva točna metoda za učinkovito brisanje velikih razmjera i pokazivanje da se rezultati ne mijenjaju.“

Izravno testiranje ove ideje značilo je odgovoriti na pitanje "što ako". Što bi ovaj model proizveo da nikada nije vidio ovu određenu sliku? Iskreno odgovoriti na to pitanje znači ponovno trenirati model od nule bez te slike, a zatim to ponoviti za sljedeću sliku i sljedeću. S milijunima primjera za učenje, matematika brzo postaje pretjerana, zbog čega se prethodni rad na području atribucije oslanjao na aproksimacije koje procjenjuju utjecaj primjera za učenje, umjesto da ga zapravo uklanjaju.

Njihovo zaobilazno rješenje je arhitektura koju su sami izgradili, nazvana "difuzijski ansambl". Umjesto jednog monolitnog modela, sastoji se od mnogo manjih komponenti, od kojih je svaka obučena na drugom dijelu podataka. Želite li znati što bi model učinio bez određene slike? Samo isključite dijelove koji su je vidjeli. Nema ponovnog treniranja, nema aproksimacije. Ono što ostaje je pravi kontrafaktualni model, a ne procjena istog.

Naravno, pametna arhitektura važna je samo ako i dalje radi kao generator. Stoga je tim usporedio ansamble s 24 konvencionalna difuzijska modela obučena na potpuno istim podacima. Slike su izgledale otprilike jednako dobro prema standardnim mjerama.

Što je više podataka za obuku, to su se ansambli bolje držali u odnosu na svoje ekvivalente s jednim modelom, što ukazuje na to da bi zapravo mogli biti učinkovitiji u pogledu podataka.

„Kada imate male količine podataka, oni se vrlo loše snalaze“, kaže Dai. „Ali ako imate više podataka, oni se zapravo bolje skaliraju u usporedbi s jednostavnim modelom difuzije.“

S ablacijom koja funkcionira, istraživači su konačno mogli postaviti svoje pitanje u većem opsegu. Uzmite jednu generiranu sliku, a zatim zamislite svaku njezinu alternativnu verziju, svaku proizvedenu uklanjanjem različitog dijela podataka za obuku. Tim to naziva kontrafaktualnim svemirom slike. Udaljenost između originala i njegove najrazličitije alternative, kontrafaktualni radijus, obuhvaća najviše što je bilo koji pojedinačni dio podataka za obuku mogao biti važan.

Trenirali su 24 ansambla na skupovima podataka od 256 slika do više od 160 000, izvučenih iz sedam javnih kolekcija, uključujući CIFAR-10, CelebA, MetFaces i ArtBench. Uzorak je bio dosljedan: što je veći skup za obuku, to je manji radijus, smanjujući se prema inverznom zakonu potencije. Vrijedilo je bez obzira mjere li se razlike piksel po piksel ili semantičko značenje, sa statističkom značajnošću u oba smjera.

Tim je također testirao vlastiti rezultat stresom. Možda je sama ablacija bila krivac? Ponovno su to napravili metodom grube sile u malom opsegu, trenirajući 1282 odvojena modela, a raspad se svejedno pojavio. Možda veći skupovi podataka jednostavno čine svako uklanjanje proporcionalno manjim? Zakačili su uklonjeni udio na mjesto i on je opstao. Fiksne epohe, modeli s tekstualnim uputama, modeli uvjetovani klasom, četiri metrike sličnosti - nalaz je preživio sve.

Implikacije idu u smjeru koji je iznenadio i same istraživače. Gifford smatra da se nalaz izravno odnosi na pravno pitanje jesu li rezultati modela izvedena djela. 

„Jedan od načina razmišljanja o ovome jest da su ovi modeli kreativni. Oni ne kopiraju samo ono što im se daje, već stvaraju potpuno nove rezultate. Ako ti rezultati nemaju nikakve veze s bilo kojim pojedinačnim dijelom podataka za obuku, to postavlja pitanja o poštenoj upotrebi, o tome jesu li sami rezultati zaštićeni autorskim pravima kao nova djela i o tome kako autori dobivaju naknadu kada ono što proizlazi iz modela nije pripisivo ničemu na internetu.“

Gifford također primjećuje da rad pokazuje kako proizvesti rezultate koji se jamče da se ne mogu pripisati nekome, sposobnost koju on definira kao obvezu za industriju, a ne kao rupu u zakonu.

„Kad bi atribucija funkcionirala, pouzdano bi nam rekla jesu li sličnosti između rezultata modela i djela zaštićenog autorskim pravima posljedica kopiranja ili slučajnosti“, kaže James Grimmelmann, profesor prava na Pravnom fakultetu Cornell i Sveučilištu Cornell Tech. „Ali ovaj rad daje razlog za mišljenje da atribucija neće uspjeti za zanimljive modele. Umjesto toga, tehnolozi i sudovi morat će pribjeći drugim metodama za procjenu kopiranja.“

Studiju objavljenu u časopisu  Nature Communications možete pronaći na ovoj poveznici.