Intelov novi alat za mjerenje kvalitete slike u igrama

Većina metrika kvalitete videa koje danas koristimo izvorno su dizajnirane za otkrivanje artefakata kompresije, vrsta vizualnih grešaka koje se pojavljuju kada je videozapis jako komprimiran radi uštede propusnosti. To uključuje blokadu i zamućenje, a uobičajene su na streaming platformama poput YouTubea ili Netflixa. Metrike poput PSNR-a (vršni omjer signala i šuma) i SSIM-a (indeks strukturne sličnosti) široko se koriste za mjerenje koliko komprimirani videozapis sliči svojoj izvornoj verziji.

No kada je riječ o modernom renderiranju igara, ove tradicionalne metrike često zakažu. Posljednjih godina tehnike renderiranja dramatično su napredovale. Alati poput neuronskog supersamplinga, ray tracinga, sinteze novog pogleda i sjenčanja s promjenjivom brzinom sada se koriste u vrhunskim igrama kako bi se pružili impresivniji vizualni prikazi. Međutim, ove metode dolaze sa svojim jedinstvenim vizualnim osobitostima, artefaktima poput ghostinga, vremenskog treperenja, svjetlucavog šuma, pa čak i haluciniranih tekstura koje uvode neuronske mreže. Ta izobličenja su često prostorno-vremenske prirode, što znači da se mijenjaju i kroz prostor (područja slike) i kroz vrijeme (kroz kadrove).

Kako bi premostili ovaj jaz u procjeni kvalitete videa, Intelovi inženjeri su stvorili specijalizirani skup podataka i metriku posebno dizajniranu za potrebe računalne grafike u stvarnom vremenu. To je rezultiralo Skupom podataka o kvaliteti videozapisa računalne grafike (CGVQD), prvom zbirkom te vrste usmjerenom na prostorno-vremenska izobličenja koja uvode moderne tehnike renderiranja .

Koristeći ovaj skup podataka, razvili su novu objektivnu metriku kvalitete videa pod nazivom CGVQM, izgrađenu na 3D ResNet-18 arhitekturi. Osnovna ideja je da 3D konvolucijske neuronske mreže (CNN), izvorno obučene za prepoznavanje radnji u videozapisima, također uče prostore značajki koji se snažno podudaraju s ljudskom percepcijom vizualne kvalitete.

Kombinirajući visoku točnost, interpretabilnost i generalizaciju, CGVQM pruža moćan novi alat istraživačima grafike i programerima igara za procjenu kvalitete renderiranja kako je percipira krajnji korisnik, bez potrebe za skupim studijama na ljudima.

Nova metrika kvalitete videa pokretana umjetnom inteligencijom, nazvana Computer Graphics Visual Quality Metric ili CGVQM, sada je dostupna na GitHubu kao PyTorch aplikacija.