Trostruko ubrzavanje SSD diskova

Južnokorejski tim profesora Youjipa Wona na Elektrotehničkom fakultetu instituta KAIST (KAIST (Korea Advanced Institute of Science and Technology), razvio je GAZE, datotečni sustav za flash memorijske uređaje sljedeće generacije, koji uklanja "usko grlo brzine" u flash pohrani i očekuje se da će ubrzati AI.

Čak i s visokoučinkovitim uređajima za pohranu, neučinkovito upravljanje podacima može ih spriječiti da postignu punu brzinu. Istraživači KAIST-a razvili su tehnologiju koja poboljšava proces premještanja i reorganizacije podataka radi ponovne upotrebe prostora za pohranu, povećavajući performanse obrade podataka flash uređaja za pohranu sljedeće generacije.

Flash pohrana je pohrana temeljena na poluvodičima koja zadržava podatke čak i kada je napajanje isključeno i koristi se u uređajima poput računalnih SSD-ova. Uređaji za pohranu također igraju važnu ulogu u "zaključivanju", procesu u kojem umjetna inteligencija generira odgovore na temelju onoga što je naučila, jer potrebni podaci moraju biti dostavljeni u pravo vrijeme. Čak i ako je računalna jedinica brza, učinkovitost cijelog sustava može se smanjiti ako previše vremena provede čekajući podatke.

Istraživački tim usredotočio se na proces „čišćenja prostora“ unutar uređaja za pohranu. Kako bi ponovno upotrijebio prethodno zauzeti prostor, flash pohrana premješta podatke koji se moraju zadržati na drugu lokaciju i vraća ispražnjeni prostor. Taj je proces poznat kao „sakupljanje smeća“. Može se usporediti s premještanjem potrebnih predmeta i reorganizacijom dijelova skladišta kako bi se prazan prostor mogao ponovno koristiti.

ZNS flash pohrana ispitana u ovoj studiji dijeli prostor za pohranu na velika područja koja se nazivaju "zone" i sekvencijalno zapisuje podatke unutar svake zone. To može smanjiti složene operacije upravljanja unutar uređaja za pohranu, ali zahtijeva da operativni sustav i datotečni sustav učinkovito obrađuju čišćenje tih velikih zona.

Postojeći datotečni sustavi prvenstveno su dizajnirani za čišćenje relativno malih područja. Međutim, u ZNS pohrani može biti potrebno premjestiti nekoliko gigabajta podataka kada se čisti jedna zona. Opseg zadatka čišćenja povećao se, dok je metoda njegovog izvođenja ostala uglavnom nepromijenjena, što je rezultiralo duljim kašnjenjima.

Analiza istraživačkog tima pokazala je da čišćenje zone od 1 GB konvencionalnom metodom traje približno 1,7 sekundi. Značajan dio opterećenja obrade generiranog tijekom čitanja i ponovnog pisanja podataka nije dolazio od samog uređaja za pohranu, već od operacija upravljanja stanjem i upravljanjem memorijom koje je izvodila središnja procesorska jedinica (CPU). To je značilo da samo ubrzavanje uređaja za pohranu nije moglo riješiti problem.

Kako bi riješili ovaj problem, istraživači su redizajnirali proces čišćenja na tri načina. Prvo, podijelili su posao provjere, čitanja, obrade i ponovnog pisanja podataka u četiri faze koje se mogu preklapati jedna s drugom. Umjesto čekanja da se jedan zadatak potpuno završi, sustav obrađuje i zapisuje prethodno pročitane podatke dok istovremeno čita sljedeći skup podataka. Princip je sličan proizvodnoj liniji u kojoj više faza tvornice radi istovremeno.

Drugo, sustav unaprijed rezervira namjensku memoriju za operacije čišćenja. To smanjuje opterećenje ponovljenog dodjeljivanja i upravljanja privremenom memorijom svaki put kada se operacija izvrši. Treće, dok je čišćenje u tijeku, sustav nastavlja prihvaćati zahtjeve za pisanje koji ne zahtijevaju odmah dodatni prostor za pohranu. To je poboljšanje u odnosu na prethodni pristup, u kojem su čak i podaci koji su se prvo mogli pohraniti u memoriju morali čekati dok se proces čišćenja ne završi.

Istraživački tim implementirao je tehnologiju u datotečnom sustavu F2FS na Linuxu 6.1.0 i usporedio njezine performanse pod različitim opterećenjima. U usporedbi s konvencionalnom ZNS podrškom za F2FS i prethodnim tehnologijama poput ZNS+ i P-GC, GAZE je postigao do tri puta veće performanse obrade podataka. Vrijeme potrebno za čišćenje prostora također je smanjeno na približno jednu trećinu vremena potrebnog za konvencionalni F2FS.

Još jedna ključna značajka tehnologije je da ne zahtijeva dodatni namjenski hardver ili promjene formata u kojem se podaci zapisuju na uređaj za pohranu kako bi se poboljšale performanse. Umjesto toga, istraživači su poboljšali način na koji postojeći softver datotečnog sustava obavlja svoje operacije i pokazali potencijal primjene osnovnih principa dizajna na druge datotečne sustave strukturirane dnevnikom. Datotečni sustav strukturiran dnevnikom sekvencijalno bilježi nove podatke kako pristižu.

Studija pokazuje da potpuno iskorištavanje performansi uređaja za pohranu zahtijeva poboljšanja ne samo u poluvodičkom hardveru već i u softveru koji njime upravlja. Smanjenjem nepotrebnih operacija čekanja i upravljanja duž podatkovnog puta, istraživači su uspjeli prevesti brzinu visokoučinkovitih uređaja za pohranu u stvarne performanse obrade podataka.

U AI zaključivanju, podatkovnim centrima i visokoučinkovitim računalnim okruženjima koja obrađuju velike količine podataka, važno je da uređaji za pohranu podataka glatko i učinkovito isporučuju potrebne podatke. Očekuje se da će nova tehnologija poslužiti kao temelj za poboljšanje učinkovitosti obrade podataka u takvim okruženjima.

Nadograđujući se na poboljšanja performansi datotečnog sustava demonstrirana u ovoj studiji, proširenje tehnologije na širi raspon uređaja za pohranu i opterećenja te provjera učinkovitosti opskrbe podacima u okruženjima umjetne inteligencije moglo bi dodatno pojasniti njezinu praktičnu vrijednost za usluge iz stvarnog svijeta.

Profesor Youjip Won rekao je: „Da bi korejske napredne memorijske tehnologije ostvarile pune performanse, bitno je ukloniti povezana softverska uska grla. Ova studija je značajna jer smo potpuno uklonili usko grlo operativnog sustava koje je sprječavalo potpuno korištenje brzih flash uređaja za pohranu. Proširenjem primjene na AI inferenciju i podatkovne centre koji obrađuju velike količine podataka, očekujemo da ćemo doprinijeti poboljšanju učinkovitosti iskorištenja visokoučinkovite pohrane i konkurentnosti industrijske obrade podataka.