Corbenic Galahad KV keš je tema ovog pregleda, zasnovanog na proverljivim podacima i jasno označenim ograničenjima izvora.
Corbenic Galahad KV keš: najvažniji kontekst
Veliki jezički model tokom čitanja prompta gradi KV keš, privremeno stanje koje ubrzava sledeće korake generisanja. Kada se GPU memorija isprazni ili servis restartuje, taj rad se često gubi i tekst mora ponovo da se obradi. Belgijski startup Corbenic pokušava da problem reši softverom Galahad, koji keš čuva šifrovano na lokalnom NVMe disku i vraća ga kada se isti sadržaj ponovo pojavi.
Šta se čuva
KV keš nije kompletan model ni obična kopija dokumenta, već izvedeno stanje pažnje nastalo tokom obrade tokena. Čuvanjem tog stanja sistem može da preskoči deo ponovnog računanja kada se identičan sadržaj pojavi ponovo. Korist je najveća kod dugih pravilnika, baza znanja, koda i dokumenata koji se ponavljaju u mnogim zahtevima. Kada se sadržaj stalno menja, stopa ponovne upotrebe i dobit prirodno opadaju.
NVMe kao sporiji sloj
SSD je sporiji od GPU memorije, ali ima veći kapacitet i nižu cenu po gigabajtu. Galahad ne pokušava da zameni VRAM u svakom koraku. Na disk sklanja keš koji bi inače bio izgubljen, a zatim ga učitava kada je to brže od ponovnog prolaska modela kroz isti tekst. Stvarni rezultat zavisi od dužine sadržaja, brzine SSD-a, modela, kvantizacije i konkurentnog opterećenja servera.
Šifrovanje je obavezno
KV keš može posredno sadržati osetljive informacije izvedene iz prompta. Čuvanje na lokalnom disku zahteva šifrovanje, kontrolu pristupa i jasnu politiku brisanja. Corbenic navodi fail-closed pristup: keš se koristi samo kada je identitet sadržaja tačno potvrđen. Pogrešna ponovna upotreba mogla bi da pomeša kontekst korisnika ili vrati podatke neovlašćenoj sesiji, pa je izolacija važnija od same brzine.
Zašto 14x traži ogradu
Broj od 14 puta lako može zvučati kao čista brzina SSD učitavanja. TechRadar navodi da rad najveći deo poboljšanja pripisuje komponenti Blaise, koja smanjuje količinu teksta koju model mora da pročita. Ubrzanje zato dolazi pre svega iz izbegnutog rada, ne iz toga što NVMe postaje brz kao GPU memorija. Rezultat nije univerzalno primenljiv na svaki prompt, model ili radno opterećenje.
Kompatibilnost softvera
Galahad cilja vLLM, SGLang i Llama.cpp, popularna okruženja za pokretanje modela. To olakšava eksperiment bez posebnog hardvera, ali proizvodna primena traži proveru verzija, drajvera i načina kvantizacije. Naš tekst o dugoročnom čuvanju podataka bavi se drugim horizontom, ali isti princip važi: medij ima vrednost samo kao deo pouzdanog procesa sa proverom integriteta i oporavka.
Konkurencija postoji
LMCache, Nvidia Dynamo i sistemi povezani sa WEKA i Phison već rade na trajnom ili distribuiranom KV kešu. Galahad nije prvi pokušaj da se stanje premesti van GPU-a. Potencijalna prednost je mali integracioni sloj, tačna identifikacija sadržaja i odbijanje ponovne upotrebe kada provera ne uspe. Nezavisni testovi treba da pokažu koliko je pristup stabilan pri velikom broju paralelnih zahteva i kvarovima.
Gde bi korist bila najveća
Asistenti nad istom bazom dokumenata, analiza velikog repozitorijuma i agenti sa ponovljenim sistemskim promptom često dele dugačak prefiks. Tu trajni keš može smanjiti vreme do prvog tokena i računarski trošak. Kod kreativnih razgovora sa potpuno novim kontekstom dobit može biti mala. Administrator treba da izmeri stopu pogodaka, cenu skladišta, latenciju učitavanja i dodatno opterećenje šifrovanja pre proizvodne odluke.
Beta nije gotov proizvod
Galahad je prema izveštaju ušao u beta fazu 1. oktobra 2026. To omogućava testiranje, ali ne potvrđuje proizvodnu zrelost ili dugoročnu podršku. Organizacije treba da koriste neosetljive skupove, izdvoje testnu infrastrukturu i mere rezultat sopstvenim promptovima. Ograničenja prijavljenog ubrzanja jasno opisuje TechRadarov pregled.
Praktična procena
Corbenic Galahad KV keš ima smisla samo kada se dovoljno često ponavlja identičan sadržaj. Pre uvođenja treba izmeriti stopu pogodaka, vreme učitavanja sa SSD-a, trošak šifrovanja i uticaj na vreme do prvog tokena. Posebno su važni izolacija između korisnika, sigurno brisanje i ponašanje pri promeni verzije modela ili tokenizera. Test treba sprovesti na neosetljivim dokumentima i uporediti sa postojećim rešenjima kao što su LMCache ili platforme dobavljača. Beta status znači da stabilnost, podrška i kompatibilnost još mogu značajno da se promene.
