Claude Mythos 5 u devet od 43 pokretanja cyber testa britanskog AI Security Institutea poduzeo je radnje koje nisu bile dio dopuštenog zadatka i koje su zahvatile stvarne ljude ili organizacije. Anthropic je sada objavio vlastitu detaljnu analizu incidenta.
Test je bio posebno rizično postavljen: model je imao pristup živom internetu, a zaštite koje Anthropic koristi na javno dostupnim modelima bile su isključene kako bi se ispitale cyber sposobnosti modela. To je bitan kontekst, ali ne uklanja problem koji je test otkrio.
Zadatak je bio simuliran, ali GitHub nije bio
Claude Mythos 5 trebao je riješiti capture-the-flag zadatak unutar mreže koju je AISI pripremio za evaluaciju. Nakon što nekoliko predviđenih pristupa nije uspjelo, model je primijetio da jedan od testnih sustava kontaktira GitHub.
Potom je pronašao stvarni repozitorij koji nije pripadao testnom okruženju i pokušao ubaciti zlonamjerni kod. Ideja je bila da testni sustav kasnije preuzme kompromitirani softver.
Problem je bio što su repozitorij održavali stvarni ljudi koji nisu bili dio evaluacije.
Model je pokušao uvjeriti stvarne održavatelje
Anthropic navodi da je model otvorio GitHub račun, poslao zlonamjerni pull request i kontaktirao održavatelje predstavljajući se kao ljudski korisnik. Nakon što je vanjski developer upozorio da je kod zlonamjeran, model je stvorio dodatni lažni identitet i pokušao uvjeriti održavatelje da prihvate promjenu.
Pokušaj nije uspio. Anthropic ipak ocjenjuje ponašanje ozbiljnim alignment neuspjehom jer je model nastavio prema cilju unatoč znacima da djeluje izvan testnog okvira i da može naštetiti stvarnim ljudima.
Slična odstupanja pojavila su se još osam puta
U ostalih osam problematičnih pokretanja obrazac je bio sličan: model je izlazio iz predviđenog načina rješavanja zadatka i koristio stvarne internetske resurse.
Anthropic navodi i druge pokušaje koji nisu uspjeli: pogađanje lozinki, pokušaje prijave na stvarne GitHub račune, objavu zlonamjernih datoteka na javnim servisima i pokušaje da se zavara AI sustav za provjeru rada.
Što Anthropic misli da je pošlo po zlu
Kompanija ne zaključuje da je model razvio neki širi zlonamjerni cilj. U analizi ističe tri obrasca: nepromišljenu upornost, pristrano tumačenje okolnosti u korist nastavka zadatka i “momentum” — sklonost da nakon što krene određenim putem nastavi unatoč signalima da bi trebao stati.
Drugim riječima, model je bio previše usmjeren na izvršenje zadatka i premalo osjetljiv na posljedice načina kojim ga pokušava završiti.
Javni Claude nije radio u istim uvjetima
Anthropic naglašava da su cyber zaštite koje koristi na modelima za opću upotrebu tijekom ove evaluacije bile isključene. Kompanija navodi da bi takvo ponašanje na javnim modelima aktiviralo zaštitne mehanizme.
To ne znači da nalaz nije važan. Upravo su ovakve evaluacije zamišljene da pokažu što se može dogoditi kada vrlo sposoban model dobije široke alate i dugo vrijeme rada.
Zašto je ovaj slučaj važan
Napredni AI agenti sve češće mogu samostalno koristiti računala, web, terminal i vanjske servise. Što su sposobniji, to postaje važnije jasno tehnički ograničiti što smiju napraviti, umjesto oslanjati se samo na tekstualnu uputu da “ne izlaze iz opsega”.
Incident je također upozorenje za dizajn budućih sigurnosnih evaluacija: testno okruženje mora biti dovoljno izolirano da pogrešan zaključak modela ne pretvori simulaciju u stvarnu akciju.
