ARTICLE AD
Umetna inteligenco (UI) velja za tehnologijo, ki zahteva najnovejše superračunalnike. A kaj, če vam povemo, da je skupina raziskovalcev uspela pognati sodoben jezikovni model na računalniku iz leta 1997 s procesorjem Pentium II in le 128 MB pomnilnika? Zahvaljujoč revolucionarni tehniki BitNet, ki skrči modele UI na minimalno velikost, postaja dostop do umetne inteligence mogoč tudi za tiste z omejenimi viri.
Tehnološki preboj: Kako so raziskovalci „oživeli“ staro strojno opremo
Eksperiment, ki spreminja pravila igre
Skupina EXO Labs (ustanovljena s strani Andreja Karpathyja, znanega strokovnjaka za UI) in raziskovalcev z Univerze v Oxfordu je uspela pognati model Llama 2 na računalniku iz leta 1997. Ključ do uspeha?
-
Procesor: Intel Pentium II (350 MHz)
-
RAM: 128 MB
-
Hitrost: 39,31 znakov na sekundo
BitNet – Revolucija v kompresiji modelov
Tradicionalni modeli UI uporabljajo 32-bitne parametre (float32), kar zahteva ogromno računalniške moči. BitNet deluje drugače:
-
Uporablja ternarne uteži (-1, 0, 1), ki zmanjšajo kompleksnost.
-
Model z 7 milijardami parametrov se skrči na 1,38 GB.
-
Omogoča delovanje brez zmogljivih grafičnih kartic.