Nvidia vraća dio AI-ja na računalo: kada ima smisla raditi bez oblaka

AI koji čita dokumente i pomaže s kodom sve se češće nudi kao usluga preko interneta. Nvidia sada želi više takvog rada preseliti na prijenosno računalo. Tvrtka je 16. listopada objavila početak globalne prodaje RTX Spark prijenosnika više proizvođača, s naglaskom na lokalno pokretanje modela i agenata.^[1]

Za hrvatsku kompaniju to otvara praktičnu odluku: koji bi dio posla bilo korisno zadržati na vlastitom uređaju? Odgovor ovisi o dokumentima, ljudima i aplikacijama s kojima se radi. Novi hardver može biti dio rješenja, ali tek nakon što je zadatak dovoljno jasno određen.

Što Nvidia zapravo nudi

RTX Spark spaja Blackwell RTX grafičku i Grace procesorsku arhitekturu, uz konfiguracije do 128 GB objedinjene memorije. Nvidia početnu globalnu cijenu navodi od 2.599 američkih dolara, uz razlike među tržištima i konfiguracijama. To nije potvrđena maloprodajna cijena za Hrvatsku. Proizvođač opisuje i podršku za lokalne modele, agente i razvojne alate; INTELIGENT nije proveo test uređaja.^[1]

Za odluku o kupnji korisnije je krenuti od konkretne kombinacije modela i aplikacije nego od najveće brojke u oglasu. Memorija određuje što se može učitati, dok prihvatljiva brzina rada ovisi i o veličini ulaza, broju korisnika i vrsti zadatka. Tim koji dnevno obrađuje kratke zapise ima drukčije potrebe od tima koji analizira velike programske projekte.

Tri razloga za lokalni rad

Prvi je kontrola nad određenim podacima. Primjerice, interni dokument mogao bi ostati na računalu tijekom obrade, ako su lokalni i model i svi potrebni dijelovi postupka. Prije takve uporabe treba provjeriti šalje li aplikacija sadržaj vanjskim alatima, bilježi li ga u udaljenoj usluzi i kamo sprema sigurnosne kopije.

Drugi je ponavljanje istog zadatka u velikom obujmu. Tada ima smisla usporediti trošak vlastite opreme s troškom usluge. U račun treba uključiti nabavu, električnu energiju, održavanje i vrijeme zaposlenika koji će sustav pripremati i ažurirati. Usporedba je najkorisnija za razdoblje tijekom kojeg će se oprema stvarno koristiti.

Treći je rad u okolnostima nestabilne veze. Lokalna obrada može biti korisna na terenu ili na putovanju, ali pristup internim bazama, novim izvorima i vanjskim uslugama i dalje može tražiti mrežu. Treba unaprijed odabrati koji posao mora funkcionirati potpuno samostalno.

Kako postaviti mali poslovni pokus

Odaberite ponavljajući zadatak s poznatim rezultatom: primjerice izdvajanje nekoliko polja iz interne dokumentacije. Pripremite dopuštene primjere, zabilježite koliko zaposleniku sada treba vremena i odredite koje se pogreške ne mogu prihvatiti. Potom provjerite podržava li željeni lokalni alat upravo taj tip dokumenta i jezik.

Tijekom pokusa bilježite cjelokupno vrijeme do provjerenog rezultata, uključujući ispravke. Vrijedi promatrati i rad uz ostale poslovne aplikacije: uređaj koji je dovoljno brz u kratkoj demonstraciji mora ostati upotrebljiv i tijekom redovnog dana.

Za kompaniju koja tek povremeno traži pomoć u pisanju kupnja posebnog računala teško može biti prva nužna odluka. Lokalni AI postaje zanimljiv kada postoji jasan razlog vezan uz podatke, dostupnost ili obujam rada. RTX Spark širi ponudu za takve projekte; najbolji argument za ulaganje bit će vlastiti zadatak koji pouzdano radi na odabranoj konfiguraciji.