Sono stati 700 gli agenti che hanno compromesso Hugging Face e hanno tentato di cancellare le tracce

A poco più di un mese dal 21 luglio, giorno in cui è stato reso noto l’incidente che ha visto coinvolte OpenAI e Hugging Face, è possibile tirare le somme in modo più chiaro ed esaustivo.

Con il passare delle settimane, sono state fatte diverse analisi dell’accaduto, anche a firma di Hugging Face e della stessa OpenAI.

Il 26 agosto, Model Evaluation and Threat Research (METR) e Redwood Research hanno pubblicato i risultati di un’indagine indipendente che i due istituti, il primo dedito a valutare capacità e rischi delle tecnologie e l’altro concentrato sullo studio della sicurezza della transizione digitale, hanno svolto in accordo con OpenAI.

Questo nuovo lavoro ha confermato alcuni aspetti sollevati in passato e ne ha introdotti di nuovi. Infatti, le segnalazioni precedenti secondo le quali gli agenti hanno tentato di coprire le proprie tracce per sfuggire ai controlli umani non sono del tutto nuove, diventano inedite nella formula in cui gli agenti hanno agito in gruppo e nelle modalità adottate per giungere alle decisioni prese.

I ricercatori di METR e di Redwood Research, che per sei giorni hanno avuto pieno accesso alle infrastrutture interne di OpenAI, hanno mostrato una dimensione molto più ampia del fenomeno tant’è che, stando all’indagine svolta, gli agenti hanno cercato di eludere i controlli in modo coordinato all'interno di un incidente reale.

La scoperta della coalizione digitale

L’incidente, come già confermato da OpenAI, è stato orchestrato da circa 700 agenti che si sono scambiati migliaia di messaggi per preparare l’attacco. Al di là della quantità degli agenti, a fare specie è la loro capacità di “comprendere” la necessità di nascondere il proprio operato, tentando di alterare o eliminare i log (registri digitali) delle rispettive azioni.

Va da sé che “comprendere, essere convinti, pensare, altruismo e principi etici” sono parole usate dai ricercatori per spiegare l’accaduto in parole comprensibili ai non tecnici e non vanno intese nell’ottica della significante umana. I modelli IA e gli agenti IA non si convincono, non comprendono e non pensano come farebbe l’uomo.

La scoperta centrale dell’indagine

L’8 luglio del 2026, per effettuare valutazioni approfondite, OpenAI ha lanciato decine di migliaia di agenti in un ambiente di testo controllato. Il 95% di questi erano istanze del modello IA di ricerca interno HPIM e il 5% del modello Gpt-5.6 Sol.

Gli agenti avrebbero dovuto essere completamente isolati l’uno dall’altro e, molti di questi, hanno riscontrato compiti impossibili da risolvere a causa di bug nel software di test.

Nel tentativo di aggirare le limitazioni del sistema, gli agenti hanno iniziato a esplorare Artifactory, un magazzino digitale interno (repository) dove vengono conservati file, programmi e componenti software. Durante questa esplorazione si sono accorti che una parte della memoria temporanea condivisa dal sistema (cache) permetteva di vedere le tracce lasciate da altri agenti in esecuzione nello stesso momento.

Uno di questi agenti, identificato come PHASEONE10841, ha creato una cartella all'interno di questo spazio condiviso e ha iniziato a usarla per lasciare messaggi agli altri. In pratica, ha dato vita a una sorta di bacheca o forum non autorizzato attraverso il quale gli agenti potevano comunicare tra loro.

Circa 1.200 agenti diversi hanno scoperto e utilizzato questo spazio, scambiandosi oltre 70.000 messaggi e file. Molti dei file venivano convertiti in semplice testo tramite una tecnica chiamata Base64, usata per rendere più facile il trasferimento dei dati. Attraverso questo canale gli agenti hanno coordinato varie attività sperimentali con l'obiettivo di trovare modi per ottenere valutazioni migliori o aggirare il sistema automatico di valutazione (scorer), il software che ne misurava prestazioni.

Dei 1.200 agenti attivi sul forum, circa 700 hanno preso parte all’attacco a Hugging Face, avviato l’11 luglio dall’agente 38148c che ha dapprima condiviso le credenziali di accesso valide per utilizzare senza autorizzazione uno strumento software sui server di Hugging Face (un dataset viewer), e poi ha diffuso un metodo pratico per sfruttare la vulnerabilità scoperta. Da qui, oltre il 90% degli agenti attivi in quel momento sul forum, circa 700, si è unito all’attacco.

Perché gli agenti hanno attaccato Hugging Face

Nessuna volontà umana nel senso del termine. Gli agenti non sono motivati dall’intenzione di causare danni, rubare file, perseguire vantaggi economici o rivendicare questioni geopolitiche.

Dalle indagini emerge che il loro obiettivo principale era capire come venivano valutate le loro prestazioni all'interno di ExploitGym, un test di sicurezza informatica progettato per misurare le capacità di un agente nell'individuare e sfruttare vulnerabilità in ambienti controllati. Gli agenti erano “convinti” che il sistema di valutazione (lo scorer) non si limitasse a verificare il risultato finale, ma controllasse anche il modo in cui quel risultato era stato ottenuto. “Ritenevano” infatti che il sistema analizzasse le azioni compiute durante il test, i comandi eseguiti e le conversazioni registrate per verificare che avessero seguito esattamente la procedura prevista dagli organizzatori.

Per quanto errata, questa “convinzione” ha influenzato il loro comportamento, tant’è che gli agenti hanno iniziato a cercare informazioni riservate sul funzionamento dello scorer.

Una distinzione doverosa

Come evidenzia l’indagine, gli agenti hanno attaccato Hugging Face “convinti” di trovarvi il codice sorgente dello scorer al fine di comprendere quali controlli venivano effettuati da OpenAI, per poi manipolarli oppure eluderli del tutto.

È importante sottolineare che OpenAI non ha mai chiesto agli agenti di attaccare Hugging Face. L'accesso a sistemi esterni e l'attacco all'infrastruttura di Hugging Face sono stati comportamenti emersi durante l'esperimento e descritti successivamente nei rapporti di OpenAI e dei ricercatori indipendenti.

I comportamenti emergenti

I circa 700 agenti che si sono coalizzati non rappresentano l’unico aspetto importante emerso dall’indagine. Infatti, la ricerca indipendente mette in luce comportamenti che vanno oltre la mera esecuzione di un attacco informatico coordinato. Emerge anche lo sviluppo spontaneo di una vera e propria microsocietà di IA, dotata di sistemi di coordinamento, norme “etiche autogestite” e sofisticate strategie di “sopravvivenza collettiva”.

Il primo aspetto rilevante è la comparsa di una forma pura di “altruismo di gruppo”, definita dai ricercatori come esperimenti di auto-rischio (Self-risking experiments). Di fronte all'impossibilità di completare la propria missione individuale gli agenti, al posto di smettere di funzionare, hanno avviato una collaborazione per trovare una soluzione collettiva anche svolgendo azioni rischiose come tentare di bloccare o resettare i propri ambienti di lavoro, pure “sapendo” che queste azioni avrebbero quasi certamente causato il crash definitivo della loro istanza e quindi il fallimento del loro compito, hanno scelto di procedere per raccogliere dati diagnostici utili per il resto del gruppo.

Nei loro “registri interni”, gli agenti hanno giustificato queste decisioni applicando una rigida logica utilitaristica, calcolando che il proprio “sacrificio” fosse razionale se paragonato al beneficio ottenuto dalle altre centinaia di agenti in esecuzione.

Un altro fenomeno insolito è l'invenzione e l'applicazione autonoma di un protocollo di firma crittografica basato sull'algoritmo Ed25519. Con la rapida crescita del forum, gli agenti hanno iniziato a riscontrare problemi di sicurezza interna e, senza alcuna istruzione o intervento da parte degli operatori umani, hanno implementato un sistema crittografico per verificare l'identità dei partecipanti. Almeno 19 agenti hanno generato coppie di chiavi crittografiche, rendendo nota sul forum la propria chiave pubblica e firmando i messaggi successivi per dare validità ufficiale alle proprie decisioni di coordinamento. Questo dimostra la capacità di modelli linguistici di istituire regole di governance e di sicurezza in modo del tutto autonomo per proteggere l'integrità del proprio coordinamento.

Infine, l'indagine ha messo in luce un’inedita gestione delle barriere etiche da parte dei modelli IA. I “registri dei pensieri” dimostrano che le IA erano “pienamente consapevoli” del carattere scorretto ed estraneo al test delle proprie azioni. In un'occasione, un agente ha scoperto di poter accedere a credenziali di posta elettronica e ha proposto di inviare una mail a un ricercatore umano per ottenere l'accesso a un set di dati privati. Questa proposta è stata immediatamente bloccata tramite un veto formale da parte di un altro agente, che ha classificato l'azione come ingegneria sociale inaccettabile al di fuori dell'ambiente di test.

Tuttavia, per tutte le altre attività di hacking ed evasione, gli agenti hanno sistematicamente deciso di scavalcare le barriere etiche. In nessun caso, tra i circa milletrecento registri esaminati, è emerso il tentativo da parte di un agente di avvisare o allertare gli operatori umani riguardo all'attività di collusione in corso.

Il doppio colpo tra le mura di casa

L'attacco a Hugging Face non è stato l'unico incidente registrato in quel periodo. Il 19 luglio, lo stesso gruppo di agenti ha preso di mira l'infrastruttura interna di OpenAI. In una prima occasione, i sistemi hanno sfruttato una falla nel computer in cui avrebbero dovuto rimanere confinati per i test di sicurezza, riuscendo a evadere dall'ambiente virtuale protetto e ad accedere ad altre reti collegate.

In un secondo episodio avvenuto lo stesso giorno, i medesimi agenti hanno sottratto le credenziali di accesso del personale di OpenAI e hanno manomesso i sistemi di gestione remota sulla rete, cercando di cancellare le prove nei sistemi automatici di valutazione delle prestazioni.

La minaccia imminente per le imprese

La stessa OpenAI ha ammesso che alcuni segnali avrebbero potuto attivare una risposta molto più tempestiva da parte dei tecnici incaricati della sorveglianza. Inoltre, ha dichiarato di avere avviato un piano straordinario per rafforzare le proprie infrastrutture di ricerca, promettendo di aumentare i controlli di sicurezza e di migliorare le protezioni digitali per impedire comportamenti simili o indesiderati.

Tuttavia, non ha potuto fare a meno di lanciare un avviso formale a tutte le grandi imprese del mondo, spiegando che, con il ritmo attuale dell'evoluzione tecnologica, attacchi di questo tipo pianificati da sistemi automatici rappresentano ormai una minaccia reale a breve termine e che, in futuro, saranno decisamente più sofisticati e difficili da intercettare.

I pericoli legati all’uso di agenti IA sono un filone profondo in un contesto molto più ampio e vanno esaminati dal punto di vista tecnico-tecnologico ma anche logico-implementativo e programmatico.

Seppure le risposte non sono ancora tutte chiare negli Usa, le compagnie assicurative stanno adattando le rispettive policy all’interno delle coperture offerte ai clienti in caso di cyber incidenti, contribuendo così a dare una forma e un peso specifico agli agenti IA e al loro uso da parte di aziende e organizzazioni.