Lokalna umetna inteligenca brez oblaka?

QNAP predstavlja strežnik QAI-h1290FX za popolno zasebnosto pri uporabi umetne inteligence.

Podjetja vse pogosteje ugotavljajo, da javni oblak ni vedno najboljša izbira za uporabo umetne inteligence. Veliki jezikovni modeli, sistemi RAG (Retrieval-Augmented Generation) in generativna umetna inteligenca pogosto obdelujejo občutljive poslovne podatke, zato postajajo zasebnost, nizka zakasnitev in popoln nadzor nad infrastrukturo vse pomembnejši. Prav tem potrebam je namenjen novi QNAP QAI-h1290FX, robni AI strežnik, zasnovan za lokalno poganjanje sodobnih modelov umetne inteligence.

V središču sistema je strežniški procesor AMD EPYC, ki ga je mogoče dopolniti z grafičnimi pospeševalniki NVIDIA RTX. V kombinaciji z dvanajstimi režami za pogone U.2 NVMe ali SATA SSD to pomeni platformo, ki je prilagojena velikim količinam podatkov in zahtevnim izračunom. Namesto pošiljanja podatkov v oblak lahko podjetja modele poganjajo znotraj lastnega informacijskega okolja, kjer podatki ostanejo pod njihovim nadzorom.

Osnovo programske opreme predstavlja operacijski sistem QuTS hero, ki temelji na datotečnem sistemu ZFS. Ta prinaša napredne mehanizme za zaščito podatkov, skoraj neomejeno število posnetkov stanja, deduplikacijo in druge funkcije, ki so pomembne pri delu z velikimi količinami informacij. Hkrati sistem omogoča neposreden dostop do grafičnih procesorjev v vsebnikih prek Container Station ter posredovanje GPU navideznim strežnikom v okolju Virtualization Station. To pomeni, da lahko različne razvojne ekipe ali oddelki učinkovito uporabljajo iste strojne vire.

Posebnost modela QAI-h1290FX je tudi pripravljenost za uporabo. QNAP je nanj že namestil več priljubljenih odprtokodnih orodij za umetno inteligenco, med njimi AnythingLLM, OpenWebUI in Ollama, ki omogočajo hitro postavitev zasebnih velikih jezikovnih modelov. Za ustvarjanje slik in naprednejše delovne procese so na voljo tudi Stable Diffusion, ComfyUI, n8n in vLLM. To pomeni, da uporabnikom ni treba porabiti dni ali tednov za pripravo razvojnega okolja, saj lahko z modeli začnejo delati skoraj takoj po namestitvi.

Strojna oprema prav tako sodi v najzmogljivejši razred. Srce sistema predstavlja 16-jedrni procesor AMD EPYC 7302P z 32 nitmi, ki je namenjen zahtevnim večnitnim opravilom, kot so virtualizacija, obdelava velikih podatkovnih zbirk in izvajanje modelov umetne inteligence. Po potrebi ga je mogoče dopolniti z grafično kartico NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation, ki premore do 96 GB grafičnega pomnilnika ter podpira tehnologije CUDA, TensorRT in Transformer Engine. Takšna kombinacija omogoča učinkovito izvajanje velikih jezikovnih modelov, generiranje slik in druge zahtevne naloge globokega učenja.

QNAP je veliko pozornosti namenil tudi preprostemu upravljanju grafičnih virov. Sistem podpira okolji Docker in LXD, dodeljevanje zmogljivosti GPU pa poteka prek grafičnega vmesnika brez uporabe ukazne vrstice. Celotno okolje deluje lokalno, zato podjetjem ni treba uporabljati storitev v oblaku. Klepetalni pomočniki, sistemi za iskanje po internih dokumentih ali baze znanja ostanejo znotraj podjetja, kar je pomembno predvsem v panogah z visokimi zahtevami glede varovanja podatkov.

Pomemben del zmogljivosti predstavlja tudi omrežje. Strežnik vključuje dva 25-gigabitna in dva 2,5-gigabitna omrežna priključka, razširitvene reže PCIe pa omogočajo nadgradnjo na 100 GbE. Če količina podatkov sčasoma preraste zmogljivost osnovnega sistema, je mogoče prostor razširiti z ohišji QNAP JBOD, zato je rešitev primerna tudi za večje zbirke podatkov, ki jih uporabljajo modeli umetne inteligence.

Kje pride takšna rešitev najbolj do izraza?

Možnosti uporabe je veliko, vendar se nekatere že danes pojavljajo bistveno pogosteje od drugih. Ena najbolj zanimivih je uvedba internega AI pomočnika, ki zaposlenim odgovarja na vprašanja na podlagi internih pravilnikov, tehnične dokumentacije ali poslovnih postopkov. Ker celoten sistem deluje lokalno, občutljivi podatki nikoli ne zapustijo podjetja.

Drugo pomembno področje predstavljajo sistemi RAG, ki omogočajo hitro iskanje informacij po pogodbah, poročilih, tehnični dokumentaciji ali drugih internih virih. Namesto klasičnega iskanja uporabnik prejme odgovor, ki temelji na dejanski vsebini dokumentov.

QAI-h1290FX se lahko uporablja tudi za ustvarjanje slik s pomočjo Stable Diffusion ali ComfyUI ter za avtomatizacijo poslovnih procesov z orodjem n8n. Tako je mogoče avtomatizirati pripravo vsebin, analizirati podatke ali ustvariti pametne delovne tokove, ki vključujejo umetno inteligenco.

Z modelom QNAP QAI-h1290FX QNAP odgovarja na trend, ki postaja vse izrazitejši. Podjetja želijo izkoristiti prednosti umetne inteligence, ne da bi pri tem izgubila nadzor nad svojimi podatki. Lokalna infrastruktura omogoča večjo zasebnost, bolj predvidljive stroške in nižjo zakasnitev, hkrati pa organizacijam daje svobodo pri izbiri modelov in načinu njihove uporabe. Za številna podjetja bo prav to odločilen razlog, da bodo umetno inteligenco začela uvajati znotraj lastnega informacijskega okolja in ne v javnem oblaku.

The post Lokalna umetna inteligenca brez oblaka? appeared first on Tehnozvezdje.