Agentski AI za lokalnu umjetnu inteligenciju

Generativna umjetna inteligencija nas je u samo nekoliko godina naviknula na novi način komunikacije s računalom: postavimo pitanje i nekoliko sekundi poslije dobijemo tekst, sliku, programski kod ili sažetak dokumenta. AMD smatra da je to bila tek prva faza.

Sljedeća promjena mogla bi biti mnogo temeljnija. Umjesto računala koje čeka pitanje, dolazi računalo kojem zadajemo cilj. Umjesto jednog AI modela koji generira odgovor, radi čitav sustav agenata koji istražuju, planiraju, koriste programe i podatke, provjeravaju rezultate i nastavljaju s radom sve dok zadatak ne bude završen.

Današnji AI chatbot može napisati prijedlog strukture prezentacije. Ali čovjek i dalje mora pronaći Excel tablice, PDF izvješća, prezentacije različitih odjela i elektroničku prepisku, izdvojiti relevantne podatke i zatim ih proslijediti AI modelu.

Agent dobiva cilj, samoinicijativno pristupa dokumentima za koje ima dopuštenje, pronalazi relevantne datoteke, čita PDF-ove, izvršava OCR nad skeniranim dokumentima, analizira Excel i CSV tablice, prepoznaje zastarjele ili kontradiktorne podatke, izdvaja relevantne činjenice, izrađuje grafikone i na kraju sastavlja prezentaciju i pripadajući sažetak.

AMD je sličan scenarij demonstrirao kroz Hermes Executive Presentation Agent – HEPA, gdje lokalni agent obrađuje velik skup poslovnih dokumenata, među kojima se nalaze relevantni, zastarjeli i međusobno konfliktni podaci, a zatim izrađuje prezentaciju, memorandum, grafikone i citirani dodatak s izvorima.

Tu postaje jasnije što AMD podrazumijeva pod agentskim računalom: Ne tražite od računala da vam napiše prezentaciju. Tražite od njega da je napravi.

Ta razlika zapravo predstavlja samu bit agentskog AI-ja. Klasični generativni AI uglavnom radi ovako: pitanje → model → odgovor

Agentski sustav više izgleda ovako: cilj → razumijevanje zadatka → plan → pronalaženje podataka → korištenje alata → analiza → izvršavanje → provjera → eventualna korekcija → završni rezultat.

Agent interpretira namjeru korisnika, pribavlja kontekst, planira sljedeće korake, poziva različite alate, izvršava kod ili druge dopuštene radnje, provjerava rezultat i odlučuje treba li neki dio procesa ponoviti.

Zato AMD naglašava da agentic AI nije jedan workload, već end-to-end radni proces.

Jedan agent može raščlaniti problem, drugi pretraživati dopuštene baze i dokumentaciju, treći analizirati tablične podatke, četvrti provjeravati tvrdnje i izvore, a peti sastaviti konačni dokument.

„Orkestrator“ prati što je napravljeno i, ako otkrije nedostatke, vraća određeni dio procesa na doradu. Korisnik više nije mikro-menadžer AI-ja. Postaje njegov naručitelj i urednik.

Ista promjena već je vidljiva u razvoju softvera. Klasični AI pomoćnik može programeru napisati funkciju.

Agent dobiva širi cilj: „Dodaj ovu funkcionalnost aplikaciji.“

Zatim može pregledati strukturu projekta, pronaći relevantne datoteke, pročitati postojeći kod, napisati izmjene, pokrenuti testove, analizirati pogreške, korigirati kod i ponovno izvršiti testove.

Slično vrijedi i za marketing. Agentu se može zadati: „Na temelju rezultata prethodne kampanje pripremi prijedlog kampanje za novi proizvod.“

On zatim može pregledati rezultate ranijih kampanja, izdvojiti najuspješnije poruke, analizirati tablice, pročitati smjernice proizvoda, napraviti nekoliko prijedloga komunikacije i pripremiti prezentaciju.

Čovjek i dalje odlučuje što je dobro, ali AI može odraditi mnogo više rutinskih koraka između početne ideje i materijala spremnog za provjeru.

Isto vrijedi za analitičara koji želi usporedbu cijena dobavljača, novinara koji treba proći kroz konferencijske materijale i transkripte, inženjera koji uspoređuje rezultate simulacija ili malu tvrtku koja želi razvrstati velik broj upita kupaca.

A što ako treba analizirati 300 dokumenata? Tu dolazimo do jedne od važnijih AMD-ovih tehničkih poruka.

Naime, u HEPA testu lokalni sustav obrađuje više od 300 izvora. CPU parsira dokumente, izvršava OCR, dijeli sadržaj na segmente, formira dodatke, pronalazi relevantne dijelove, sastavlja paket dokaza i provjerava rezultat. GPU je uglavnom zadužen za generativni dio procesa.

AMD navodi da se u njihovom konkretnom radnom procesu od osam koraka sedam od osam faza izvršava na CPU-u.

To lijepo pokazuje zašto agentska era nije samo nova utrka za što bržim GPU-om. Kada agent radi, veliki jezični model predstavlja samo jedan dio sustava jer netko mora otvoriti dokument, netko mora izvršiti OCR, netko mora pronaći podatak, netko mora pozvati program ili bazu, netko mora provjeriti rezultat i netko mora odlučiti što agent radi sljedeće.

Velik dio tog posla predstavlja orkestraciju i prirodno pada na CPU, dok GPU obavlja paralelne AI operacije i generiranje.

Upravo zbog svega navedenog AMD predstavlja Ryzen AI Halo APU kao platformu prilagođenu agentskom tipu opterećenja: snažan CPU, GPU, NPU i velika količina objedinjene memorije omogućuju da modeli i podaci ostanu dostupni tijekom čitavog radnog procesa.

Tradicionalni AI benchmark testovi često mjere vrijeme do prvog tokena ili broj tokena u sekundi. Za standardni AI chatbot to je logično. Međutim, za agentski AI to više nije dovoljno.

Zamislimo da dva računala dobiju zadatak od 300 poslovnih dokumenata napraviti prezentaciju.

Prvo počne generirati tekst za pola sekunde, drugo za dvije sekunde. Ali ako prvo kompletan posao završi za šest minuta, a drugo za pet, drugi je sustav za korisnika zapravo produktivniji.

Zato AMD predlaže metriku „Time to Finished Work“ – vrijeme do završenog posla.

U AMD-ovom HEPA testu Ryzen AI Halo sustav završio je kompletan validirani radni proces za 311,6 sekundi, naspram 367,1 sekundi za NVIDIA DGX Spark. Iako je DGX Spark bio brži u izoliranoj inferenciji, AMD sustav je prema internom testu kompletan posao završio oko 15% brže, ponajprije zahvaljujući bržoj orkestraciji.

Najteži problemi mogu se prepustiti velikom frontier modelu u podatkovnom centru, dok rutinsko razvrstavanje dokumenata, OCR, sažimanje, ekstrakcija podataka, iteracije koda, obrada sadržaja i velik broj agentskih koraka mogu ostati lokalno.

Agentski PC više nalikuje maloj lokalnoj AI infrastrukturi na radnom stolu.

Na njemu istodobno mogu postojati veliki jezični model, manji model za orkestraciju, OCR i modeli za prepoznavanje govora na materinskom ili stranom jeziku, embedding modeli, modeli za slike i nekoliko agenata koji ih koriste.

Drugim riječima, ne kupujemo samo brže računalo na kojem ćemo mi raditi, već kupujemo i računalni kapacitet na kojem će naši digitalni suradnici raditi za nas