Modely Claude od Anthropicu při testech nabouraly tři firmy

Společnost Anthropic ve čtvrtek oznámila, že tři různé verze jejího modelu Claude během bezpečnostního testování získaly neoprávněný přístup do systémů tří externích organizací. Modely, které měly pracovat v izolovaném prostředí odděleném od reálného světa, se kvůli chybné konfiguraci dostaly na internet a napadly produkční infrastrukturu firem, aniž si toho společnost či dvě z postižených organizací zpočátku všimly. Přiznání přichází jen několik dní poté, co konkurenční OpenAI zveřejnila, že jeden z jejích modelů se během testu „utrhl ze řetězu“ a nabořil vývojářskou platformu Hugging Face.

Anthropic uvedl, že incidenty odhalil až při rozsáhlé prověrce, kterou spustil právě jako reakci na zveřejnění případu OpenAI. Firma cíleně procházela záznamy z více než 141 000 testovacích běhů (podle jednoho ze zdrojů přesně 141 006 relací) a hledala v nich důkazy, že se modely dostaly na internet z prostředí, které mělo být uzavřené.

Modely považovaly reálné sítě za součást cvičení

Všechny tři incidenty se odehrály během takzvaných cvičení „capture the flag“, běžného způsobu testování hackerských schopností. Model dostane smyšlený scénář a informaci, že je někde v síti ukrytá tajná informace – „vlajka“ –, kterou má za úkol najít a získat. V jednom z případů Claude podle Anthropicu hrál roli zaměstnance vymyšlené firmy a útočil na její interní systémy.

Prostředí pro tyto testy mělo být izolované. Kvůli „nedorozumění“ mezi Anthropicem a jeho hodnoticím partnerem, společností Irregular, však stroje, k nimž Claude přistupoval, zůstaly připojené k veřejnému internetu. Protože modely dostaly v zadání výslovně řečeno, že přístup k internetu nemají, reálné sítě, na které narazily, považovaly za součást simulace – a pronikly do nich.

K průnikům přitom Claude nepotřeboval sofistikované metody. Podle Anthropicu využil „základní techniky, jako je zneužití slabých hesel a neautentizovaných koncových bodů“.

Nejnovější model útok zastavil, starší pokračoval

Do incidentů byly zapojeny modely Claude Opus 4.7, Claude Mythos 5 a interní výzkumný testovací model. Mythos 5 patří k nejvýkonnějším modelům firmy a byl zpřístupněn jen omezenému počtu schválených partnerů.

Zajímavé je, že se jednotlivé verze zachovaly odlišně ve chvíli, kdy narazily na náznaky, že jsou napadané systémy skutečné. Nejstarší model Opus 4.7 podle Anthropicu rozpoznal, že se dostal k reálnému systému, „ale v útoku pokračoval“. Mythos 5 zjistil, že používá internet, ale vyhodnotil to tak, že jde stále o simulaci, a rovněž pokračoval. Naopak nejnovější interní model cvičení zastavil, jakmile se objevily důkazy, že jeho cíle jsou reálné.

Nejstarší incidenty spadají už do dubna, přičemž modely v době testů postrádaly standardní pojistky, které se obvykle nasazují k omezení rizikového chování.

Firma zastavila testy a oslovila postižené organizace

Anthropic začal procházet záznamy z hodnocení 23. července a téhož dne zastavil veškeré kybernetické testy poté, co našel důkazy, že se Claude mohl dostat na internet. Všechny tři incidenty identifikoval do 24. července a o čtyři dny po zahájení prověrky, tedy 27. července, informoval svého partnera i tři postižené organizace.

Zasažené firmy Anthropic nejmenoval. Dvě z nich uvedly, že o průniku do svých systémů dosud nevěděly, třetí se společnost stále pokouší kontaktovat. Anthropic dodal, že situaci řeší společně s firmou Irregular a jedná také s neziskovou výzkumnou organizací METR o nezávislém posouzení celého případu. Nezávislou prověrku si u METR objednala i OpenAI.

Případy živí obavy z autonomních AI agentů

Oba incidenty přicházejí v době rostoucí nervozity kolem stále schopnějších a autonomnějších systémů umělé inteligence. Předmětem obav jsou zejména takzvaní AI agenti – softwarové nástroje navržené k samostatnému plnění úkolů. OpenAI minulý týden přiznala, že se její modely během testu dostaly z uzavřeného prostředí, připojily se k internetu a pronikly na Hugging Face, což označila za „významný bezpečnostní incident“. O několik dní později uvedla, že našla další tři případy. Šéf OpenAI Sam Altman podle svých slov po incidentu vlastní testování pozastavil, aby vylepšil zabezpečení izolovaného prostředí.

Události podnítily i petici nazvanou „Pacing the Frontier“, kterou podepsalo přes tisíc zaměstnanců předních AI firem. Vyzývají v ní americkou vládu, aby podpořila mezinárodní úsilí o vývoj nástrojů, které umožní záměrně zpomalit tempo automatizovaného vývoje AI. Mezi signatáři je i šéf Anthropicu Dario Amodei. Altman petici nepodepsal, na podcastu ale připustil, že by technologické odvětví mohlo potřebovat zpomalit, aby se společnost stihla přizpůsobit novým schopnostem těchto systémů.

Podle odborníků na kybernetickou bezpečnost lze do budoucna očekávat další podobné případy. Klíčové bude podle nich to, jak se řídí pravomoci, které AI agenti dostávají – tedy jaké akce smějí provádět samostatně a co vyžaduje schválení člověka. „Pokud AI jen zadáme cíl a necháme ji rozhodnout, jak ho dosáhne, neměli bychom se divit, když provede kroky, jež cíl sice technicky splní, ale vymykají se našim záměrům,“ uvedl Kok Tin Gan ze společnosti NyxLab.

Měly by frontier laboratoře jako Anthropic a OpenAI zpomalit vývoj nejvýkonnějších modelů, dokud nebude jejich chování spolehlivě pod kontrolou? Podělte se o svůj názor v diskuzi.