Umelá inteligencia bežiaca priamo u vás doma, bez odosielania dát na cudzie servery. Znie to ako sen každého technologického nadšenca a zástancu súkromia. Ale čo sa stane, keď sa tento sen pokúsite zrealizovať na bežnom, staršom hardvéri bez dedikovanej grafickej karty? V našom najnovšom teste sme lokálnu AI vyzliekli donaha. Zobrali sme do ruky stopky, merač spotreby a pozreli sme sa pravde priamo do očí.
Umelá inteligencia dnes sľubuje revolúciu. Väčšina z nás ju však využíva cez cloudové služby gigantov ako Google či OpenAI. My sme sa na webe n-shift.uk rozhodli preveriť opačnú cestu: spustenie jazykového modelu (LLM) na bežnom domácom počítači. Zistili sme, že lokálna AI je síce fascinujúca, no jej prevádzka na staršom stroji je prekvapivo drahým a pomalým kompromisom.
Pre náš experiment sme nezvolili žiadnu modernú pracovnú stanicu za tisíce eur. Testovacou dráhou sa stal klasický počítač vybavený starším procesorom Ryzen 5 2400G (s integrovanou grafikou Vega 11), úložiskom s kapacitou 430 GB SSD a nadštandardnou pamäťou 24 GB RAM.
Tento hardvér má jeden zásadný hendikep pre prácu s AI: absenciu dedikovanej grafickej karty. Nemá vlastnú VRAM, takže celú záťaž výpočtov musí znášať procesor a systémová pamäť.
Prvým krokom bol výber správneho mozgu. K dispozícii sme mali špičkový model Qwen 2.5, ktorý exceluje v podpore slovenčiny. Otázkou bola jeho veľkosť.
Pokus spustiť masívny model so 14 miliardami parametrov (14B) by síce naša 24 GB RAM vstrebala, no z používateľského hľadiska by šlo o katastrofu. Výkon by klesol na zlomky slov za sekundu a systém by zamrzol. Racionálnou a harmonickou voľbou pre náš hardvér sa tak stal odľahčenejší, no stále mimoriadne inteligentný model Qwen 2.5: 7B, spustený cez platformu Ollama.
Model sme nešetrili. Ako testovacie zadanie sme zvolili vysoko odborný anglický text o kvantových počítačoch. Obsahoval náročné technické termíny (Majorana Zero, qubits) a fakty o 1000-násobnom zvýšení spoľahlivosti.
Zobrali sme do ruky stopky, otvorili Správcu úloh a spustili sme preklad do slovenčiny. Úloha mala v prvom kole 250 slov. Generovanie programátorského kódu zvládal Qwen bezchybne, no pri tvorbe samotného textu sa začala prejavovať surová realita domáceho hardvéru.
Dáta zo Správcu úloh priniesli prvú dobrú správu. Spotreba pamäte RAM bola ukážková. Samotný model a Windows si alokovali stabilných 10,6 až 10,7 GB, čo znamenalo luxusnú rezervu vyše 13 GB. Počítač nemusel nič swapovať na SSD disk, systém zostal stabilný.
Horšie to bolo s rýchlosťou. Z exaktného merania vyplynulo, že za 20 sekúnd model dokázal vygenerovať približne 20 slov. To predstavuje rýchlosť 1 slovo za sekundu (1 TPS). Na dlhý technický článok by ste pri tomto tempe čakali minúty.
Prvý pokus o preklad bez prísnych inštrukcií skončil úsmevne. Model pri náročnej kvantovej fyzike začal halucinovať. Vymyslel si nezmysly o telefonickej batérii a kľúčový fakt o 1000-násobnej spoľahlivosti úplne odignoroval.
Zasiahli sme preto cieleným príkazom (promptom): „Si exaktný technický prekladateľ. Prekladaj slovo od slova, presne podľa faktov. Nevymýšľaj si žiadnu omáčku.“ Výsledok? Kvalita išla okamžite nahor, terminológia zostala zachovaná. Napriek tomu štylistika v závere textu stále škrípala. Dosiahli sme zhruba 80 % kvalitu prekladu, ktorá by pred publikovaním vyžadovala ručnú redakčnú úpravu.
Tento test jasne ukázal rozdiel medzi jednoúčelovým nástrojom a jazykovým modelom. Kým Qwen 2.5 je multifunkčný univerzál (zvládne napísať HTML kód aj vtip), pri tvrdom odbornom preklade naráža na svoje limity.
Na porovnanie: Google Translate (alebo DeepL) funguje pre túto konkrétnu úlohu takmer so 100 % spoľahlivosťou. Je to dedikovaný špecialista, ktorý v zlomku sekundy doručí hotový výsledok bez toho, aby ste museli ladiť príkazy.
Posledný klinec do rakvy tohto experimentu zatĺkol merač spotreby. Náš počítač má pri bežnej práci (prehliadanie webu, písanie) spotrebu okolo 50 – 70 W. Pri hraní náročnej 3D hry vyskočí na 110 – 130 W.
Aké bolo prekvapenie, keď sme zistili, že spustenie modelu Qwen 2.5: 7B si stabilne pýta 100 až 105 Wattov. Nechať bežať takýto stroj ako domáci server, ktorý bude hodiny prekladať články rýchlosťou jedno slovo za sekundu, je z hľadiska spotreby elektriny absolútne neefektívne. Pálite stovky wattov na prácu, ktorú by cloudové služby zvládli rýchlejšie a takmer zadarmo.
Čo z toho vyplýva pre bežného nadšenca, ktorý si chce doma rozbehať AI?
Lokálna AI cez platformu Ollama na staršom stroji funguje, systém nepadá, no po energetickej a časovej stránke je to stratový podnik. 100-wattová spotreba pri tempe 1 slovo za sekundu a 80-percentnej kvalite prekladu nedáva zmysel.
Pre náš projekt zberu technologických noviniek na n-shift.uk preto meníme stratégiu. Namiesto trápenia 100-wattového počítača oživíme starý smartfón (napríklad vyradený Samsung A21s). S odberom chabých 5 Wattov bude tento telefón fungovať ako autonómny agent. Namiesto lokálneho výpočtu bude surové dáta posielať cez API do obrovských cloudových modelov spoločnosti Google. Získame tak bleskovú rýchlosť, 100 % kvalitu prekladu a zlomkovú spotrebu energie. Cesta k inteligentnej automatizácii nie je vždy o hrubej sile doma, ale o chytrom prepojení existujúcich technológií.
7. jún 2026• Jozef Kovalčík