AI ne mora raditi na tuđim poslužiteljima. Uz besplatan program kao što je LM Studio na računalo preuzimate jezični model, a on zatim odgovara bez slanja vaših poruka na internet. To je korisno za bilješke koje ne želite dijeliti s online servisom. Dvije stvari treba znati unaprijed: i lokalni program koristi internet za neke radnje, a kvaliteta odgovora ovisi o odabranom modelu, zadatku i računalu.
Što znači da AI radi lokalno
Model je velika datoteka, obično nekoliko gigabajta, u kojoj je sve što je model „naučio”. Kada ga preuzmete, program ga učita u radnu memoriju računala i odgovore računa vaš procesor ili grafička kartica. Za razgovor tada nije potrebna internetska veza. U dokumentaciji LM Studija piše da ono što upišete u razgovoru s preuzetim modelom ne napušta vaš uređaj, a isto vrijedi i za dokumente koje priložite u razgovor.
Što ostaje na računalu, a što ide na internet
| Radnja | Treba li internet? | Što se šalje |
|---|---|---|
| Razgovor s preuzetim lokalnim modelom | Ne | Sadržaj razgovora ostaje na računalu |
| Razgovor o dokumentu uz lokalni model | Ne | Dokument se obrađuje na računalu |
| Pretraživanje i preuzimanje modela | Da | Upit za pretragu i zahtjev za preuzimanje, među ostalim prema Hugging Faceu |
| Provjera nadogradnji | Da | Verzija programa, operacijski sustav i IP adresa |
| Modeli u oblaku i pretraživanje weba | Da | Vaš upit se obrađuje na poslužitelju |
Zadnji redak je najvažniji. LM Studio danas nudi i modele koji rade u oblaku te pretraživanje weba. Prema njegovim pravilima privatnosti takvi se zahtjevi obrađuju bez trajnog čuvanja, ali tada vaš tekst ipak napušta računalo. Na službenoj stranici za preuzimanje postoje i dva programa: LM Studio i LM Studio Bionic, koji lokalne modele kombinira s neobaveznim modelima u oblaku. Ako želite da razgovor ostane samo na računalu, koristite modele označene kao lokalne i ne uključujte pretraživanje weba.
Je li vaše računalo dovoljno jako
Okvirni zahtjevi iz dokumentacije LM Studija:
- Mac: Apple Silicon (M1, M2, M3 ili M4) i macOS 14 ili noviji. Preporučuje se 16 GB radne memorije; s 8 GB mogu raditi manji modeli. Macovi s Intelovim procesorom nisu podržani.
- Windows: procesor x64 s podrškom za AVX2 ili ARM (Snapdragon X Elite). Preporučuje se najmanje 16 GB radne memorije i 4 GB memorije na grafičkoj kartici.
- Linux: x64 ili ARM64, Ubuntu 20.04 ili noviji.
- Prostor na disku: svaki model zauzima nekoliko gigabajta. Najmanja inačica modela Gemma 4 u katalogu LM Studija ima 4,2 GB i traži najmanje 4 GB radne memorije, a najveća 19 GB.
Ako vaše računalo ne zadovoljava preporuke, program se možda neće pokrenuti ili će odgovarati vrlo sporo. To nije pogreška u postupku, nego ograničenje računala.
Instalacija i prvi model
- Preuzmite program samo sa službene stranice lmstudio.ai/download. Za ovaj vodič odaberite odjeljak Download LM Studio, ispod odjeljka za Bionic, i provjerite ponuđeni operacijski sustav. Preuzimanje s drugih stranica nosi rizik zlonamjernog softvera.
- Instalirajte i otvorite LM Studio. Sučelje je na engleskom; nazive kartica u nastavku navodimo onako kako ih navodi dokumentacija.
- Preuzmite mali model. Na kartici Discover potražite, primjerice, „google/gemma-4-e2b” i usporedite ponuđene inačice s memorijom svojeg računala. Dokumentacija savjetuje inačicu od 4 bita ili više ako je računalo dovoljno jako. Prije preuzimanja provjerite piše li uz model da je lokalan i koliko je velik.
- Učitajte model. Na kartici Chat otvorite izbornik za učitavanje modela i odaberite preuzeti model. Učitavanje može potrajati minutu ili dulje.
- Pošaljite prvi zadatak, primjerice ovaj ispod.
Pročitaj bilješku i napiši: 1) tri glavne točke, 2) tko što treba napraviti i do kada, ako to piše u bilješci. Odgovori kratko, na hrvatskom. Ako neki podatak nije naveden, napiši “nije navedeno”.
BILJEŠKA: Sastanak kućnog savjeta, 20. listopada. Dogovoreno je da se ulazna vrata poprave do kraja studenoga. Ponude za popravak prikuplja gospođa Horvat. Sljedeći sastanak je 3. prosinca u 18 sati u podrumu zgrade.
Kontrolni odgovor. Točan odgovor sadrži tri točke: popravak ulaznih vrata do kraja studenoga, gospođa Horvat prikuplja ponude i sljedeći sastanak 3. prosinca u 18 sati u podrumu. Za prikupljanje ponuda rok nije naveden. Ako model napiše rok za ponude ili doda neki zadatak kojega u bilješci nema, izmislio ga je. Svaki odgovor provjerite prema izvornom tekstu, bez obzira na veličinu modela.
Provjerite da model stvarno radi bez interneta
Kad je model učitan, isključite Wi-Fi ili izvucite mrežni kabel i pošaljite novi zadatak. Ako dobijete odgovor, razgovor se obrađuje na vašem računalu. Pretraživanje i preuzimanje novih modela tada neće raditi, što je očekivano. Ne zaboravite ponovno uključiti internet.
Što ne treba očekivati
- Jednaku kvalitetu u svakom zadatku. Lokalni modeli razlikuju se po veličini i mogućnostima. Prije redovite uporabe provjerite kako odabrani model obrađuje hrvatski, čuva brojke i slijedi vaše upute.
- Aktualne informacije. Lokalni model ne zna ništa što se dogodilo nakon njegove izrade i ne pretražuje web, osim ako ne uključite pretraživanje, koje radi preko interneta.
- Brzinu na slabijem računalu. Bez dovoljno memorije odgovor može stizati riječ po riječ.
Lokalni AI ima smisla kad radite s tekstovima koje ne želite slati vanjskom servisu, kad ste bez interneta ili kad želite isprobati kako modeli rade. Za zahtjevnije zadatke na hrvatskom online servisi i dalje su praktičniji, uz pravila o tome što im ne šaljete. O tim pravilima pisali smo u tekstu Krade li AI moje podatke?, a o tome kada se tvrtkama isplati raditi bez oblaka u tekstu Nvidia vraća dio AI-ja na računalo.
Izvori
LM Studio Docs: Welcome to LM Studio
LM Studio Docs: System Requirements
LM Studio Docs: Offline Operation
LM Studio Docs: Get started with LM Studio
LM Studio: Desktop App Privacy Policy
