Sajber Sfera Tech
Vest

Intel GPU 480 GB cilja veliku AI inferencu

•Mihailo Ivanjac•4 min čitanja

Intel GPU 480 GB je tema ovog pregleda, zasnovanog na proverljivim podacima i jasno označenim ograničenjima izvora.

Intel GPU 480 GB: najvažniji kontekst

Broj od 480 GB na jednoj grafičkoj kartici zvuči kao specifikacija skladišta, ali Intel ga koristi za novu D-seriju AI akceleratora. Proizvod, ranije poznat pod kodnim imenom Crescent Island, namenjen je inference zadacima u centrima podataka. Njegov glavni adut nije gaming brzina već mogućnost da veliki modeli i njihovi radni podaci ostanu u lokalnoj memoriji akceleratora.

Zašto je 480 GB važno

Kod generativne veštačke inteligencije memorija određuje koliko veliki model može da se učita, koliki kontekst može da obradi i koliko zahteva može da se opslužuje bez stalnog prebacivanja podataka. Intel navodi kapacitet do 480 GB LPDDR5X, što D-seriji daje prostor za modele koji bi na manjim karticama morali da se dele između više uređaja.

TechRadar prenosi da je cilj podrška za modele sa do približno 300 milijardi parametara. Ta brojka ne znači da će svaki takav model automatski raditi brzo ili u punoj preciznosti. Stvarni zahtev zavisi od formata težina, kvantizacije, veličine konteksta, KV keša i broja paralelnih korisnika.

LPDDR5X umesto HBM ili GDDR7

Najneobičniji izbor je memorija poznata iz mobilnih i energetski štedljivih računara. LPDDR5X ne nudi istu širinu propusnog opsega kao vrhunski HBM sistemi, ali omogućava veoma veliki kapacitet uz kontrolisanu potrošnju i trošak. Intel time očigledno daje prednost količini memorije i efikasnosti nad maksimalnom propusnošću za trening.

Takav kompromis ima smisla za inferencu, gde model često treba da ostane dostupan i da obrađuje veliki broj zahteva. Ipak, usko grlo može nastati kada radno opterećenje zahteva česta velika čitanja. Zato će poređenje sa Nvidia i AMD akceleratorima imati smisla tek kada se objave isti modeli, preciznost, batch veličina i potrošnja celog servera.

Vazdušno hlađenje i 350 W

D-serija je predstavljena kao vazdušno hlađeni akcelerator približne snage 350 W. To je značajno za operatere koji žele da koriste standardnije serverske police, bez prelaska na složeno tečno hlađenje. Međutim, 350 W po kartici i dalje nije mala potrošnja kada se u jednom serveru ili ormanu nalazi više akceleratora.

Intel GPU 480 GB — Serverski AI akcelerator sa velikim memorijskim modulima u data centru
AI ilustracija serverskog akceleratora velikog kapaciteta. AI ilustracija: SajberSfera / ChatGPT

Naš pregled optimizacija za RTX Spark računare pokazuje koliko softverski sloj utiče na korisnu vrednost AI hardvera. Isto važi i ovde: drajveri, kompajleri, biblioteke i kompatibilnost sa popularnim okvirima odlučiće da li će veliki memorijski kapacitet zaista smanjiti troškove u proizvodnji.

Inferenca nije isto što i trening

Trening velikog modela zahteva ogroman protok podataka, komunikaciju između akceleratora i precizno sinhronizovane klastere. Inferenca koristi već obučen model da generiše odgovor, klasifikuje sadržaj ili obradi ulaz. Intel D-seriju pozicionira upravo za taj drugi deo životnog ciklusa, koji postaje sve veći deo ukupne potrošnje AI infrastrukture.

Velika memorija može da omogući manje deljenja modela između kartica, što pojednostavljuje sistem i smanjuje komunikacioni trošak. Ali jedan akcelerator sa mnogo memorije nije nužno brži od više manjih. Latencija, propusnost, efikasnost pri različitim preciznostima i cena kompletne platforme ostaju ključni kriterijumi.

Šta znači za data centre

Operatorima je važna gustina: koliko korisnih tokena ili upita dobijaju iz određene količine energije, prostora i novca. Vazdušno hlađena kartica sa 480 GB može biti privlačna ako smanjuje broj potrebnih uređaja za veliki model. Ako je memorijski protok prespor ili softver nezreo, sam kapacitet neće rešiti problem.

Intel takođe mora da obezbedi pouzdan lanac isporuke i dugoročnu podršku. Data centri ne kupuju samo silicijum, već višegodišnji ekosistem drajvera, nadzora i servisiranja. Za korisnike to znači da najava jeste važna, ali još nije dokaz da će D-serija biti ekonomičnija od postojećih rešenja.

Šta još treba proveriti

Najvažniji nedostajući podaci su nezavisni benchmark rezultati, dostupnost, konačna cena, konfiguracija interkonekta i ponašanje u realnim modelima. Broj parametara sam po sebi nije standardizovana mera brzine. Dva modela iste veličine mogu imati potpuno različit memorijski obrazac, kontekst i način kvantizacije.

Zato je najpošteniji zaključak da Intel pokušava drugačiji balans kapaciteta i efikasnosti. Ako softver i propusnost budu dovoljni, 480 GB može smanjiti složenost inference servera. Ako ne budu, specifikacija će ostati upečatljiva brojka. Osnovne tvrdnje potiču iz Intelove prezentacije i TechRadarovog izveštaja.

Praktična procena

Intel GPU 480 GB zato treba procenjivati prema celom serverskom sistemu, ne samo prema rekordnom kapacitetu. Kupac mora uporediti propusnost memorije, cenu, potrošnju, podržane preciznosti, softverski ekosistem i broj tokena po vatu. Posebno je važno da benchmark koristi isti model, batch, kontekst i verzije biblioteka. Tek takvo poređenje može pokazati da li jedna velika kartica zaista zamenjuje više manjih ili samo rešava problem učitavanja modela. D-serija je zanimljiv pokušaj drugačijeg balansa, ali najava još nije razlog za planiranje migracije proizvodnog klastera.

Mihailo Ivanjac

Mihailo Ivanjac je osnivač i glavni urednik portala Sajber Sfera, sa višegodišnjim iskustvom u IT industriji, Linux administraciji i WordPress razvoju. Specijalizovan je za Nginx infrastrukturu, Redis object cache, Cloudflare integraciju i optimizaciju WordPress-a na VPS okruženju. Tokom svoje IT karijere radio je kao televizijski spiker/voditelj i senior video editor na RTV Belle amie, što mu omogućava da tehničke teme predstavi jasno i profesionalno. Sve tehničke analize i konfiguracije na Sajber Sfera portalu zasnovane su na realnim produkcionim implementacijama.