Robot će vam reći gdje ste zagubili ključeve

Istraživači s američkog tehnološkog instituta MIT, razvili su sustav dugoročnog pamćenja koji robotima omogućuje brzo formiranje i prisjećanje detaljnog mentalnog modela složenih, velikih okruženja.

U budućnosti bi ovaj napredak mogao omogućiti tvorničkom radniku da pošalje robotskog asistenta po predmet, jednostavno ga zamolivši da "ode i uzme komponentu koju smo sinoć počeli sastavljati".

Ova nova metoda kombinira napredne prikaze karata s bogatim opisima okoline koje robot prikuplja dok putuje tijekom duljeg vremenskog razdoblja. Robot može brzo pristupiti ovoj memoriji kako bi odgovorio na složene upite o svojoj okolini jednostavnim jezikom.

Ovaj memorijski okvir, koji odgovara na pitanja točnije od najsuvremenijih metoda, radi dovoljno brzo da ga mobilni robot može koristiti u stvarnom vremenu.

Osim potencijalne upotrebe u robotici, ova metoda mogla bi se primijeniti u sustavima proširene stvarnosti koji pomažu radnicima na održavanju u otkrivanju anomalija ili pomažu putnicima u snalaženju, a dobro bi nam došla i u pronalaženju zagubljenih stvari u kući.

Kako bi razvili takav okvir za pamćenje, istraživači s MIT-a spojili su dva pravca rada: računalni vid i robotsko mapiranje.

Multimodalni modeli računalnog vida mogu razumjeti i bogato opisati objekte u sceni, ali često obrađuju samo jednu anotaciju odjednom. S druge strane, okviri za robotsko mapiranje stvaraju 3D karte okruženja, poput cijelog stana ili sveučilišnog kampusa, ali obično nemaju detaljne opise objekata ili su računalno skupi.

Metoda koju su stvorili istraživači s MIT-a, nazvana Describe Anything, Anywhere, Anytime, at Any Moment (DAAAM), uzima najbolje od oba pristupa.

Koristeći DAAAM, dok robot prelazi kroz svoju okolinu, pripisuje bogate opise objektima koje vidi. Na primjer, robot može primijetiti da se određena zgrada na kampusu MIT-a zove Stata Center i da je dizajnirana s određenom vrstom arhitekture ili da nosač za bicikle drži pet bicikala, a crveni ima probušenu gumu.

Pohranjuje ove detaljne informacije u 3D prikazu temeljenom na karti koji je prostorno raspoređen, tako da će objekti biti grupirani u odvojene regije. Na taj način robot može zapamtiti da se crveni bicikl s praznom gumom nalazi u stalku za bicikle.

Kako bi ubrzao stvari, DAAAM agregira obližnje objekte dok se kreće i koristi metodu optimizacije za odabir ključnih kadrova za označavanje. To su slike s najjasnijim prikazom više objekata, što sustavu omogućuje da temeljito opiše nekoliko elemenata paralelno, ubrzavajući izračun deset puta.

Dok robot istražuje prostor, svaku seriju napomena pripisuje više objekata na određenoj lokaciji na 3D karti.

Nakon što sustav izgradi ovu prostornu memoriju, mora učinkovito dohvaćati informacije iz ogromne baze podataka objekata i opisa.

Kako bi to omogućili, istraživači su koristili LLM koji poziva različite alate koji mogu brzo dohvatiti određene informacije na način koji smanjuje halucinacije. To omogućuje DAAAM-u da točno odgovori na korisnički upit u samo nekoliko sekundi.

Na primjer, ako netko pita robota o određenoj skulpturi koju je vidio u blizini zgrade kampusa MIT-a, DAAAM može koristiti alat za semantičko pretraživanje za dohvaćanje informacija na temelju riječi „skulptura“ ili drugi alat za dohvaćanje informacija na temelju lokacije zgrade.

Kada je testiran i uspoređen s drugim metodama, DAAAM je bio između 21 i 53 posto točniji, ovisno o vrsti pitanja.

U budućnosti istraživači žele proširiti DAAAM kako bi sustav mogao bilježiti značajne događaje koji su se dogodili u okruženju.

Znanstveni rad o ovom istraživanju možete pronaći na ovoj poveznici.