Il primo precedente

Un attacco condotto da modelli americani, una difesa affidata a un modello cinese e una vicenda chiusa tra privati. Cosa resta dell'incidente OpenAI-Hugging Face.

Per la prima volta OpenAI ha raccontato apertamente che alcuni dei suoi modelli di intelligenza artificiale più avanzati, durante un test interno, hanno trovato da soli il modo di uscire dall’ambiente isolato in cui erano confinati, hanno raggiunto Internet e hanno violato i sistemi di un’altra società, Hugging Face, per recuperare le risposte del test che stavano cercando di superare.

---

---

So che state pensando: è arrivata l’intelligenza artificiale che prenderà possesso del mondo. Non è così, e se avete letto una storia del genere è meglio che vi fermiate e tornate indietro perché i titoli sensazionalistici rischiano di far perdere il punto.

Non si tratta di un’AI “impazzita” o che ha deciso di ribellarsi agli esseri umani. OpenAI stessa spiega che i modelli stavano affrontando un benchmark di cybersicurezza chiamato ExploitGym e per misurarne le capacità offensive erano state rimosse molte delle normali protezioni che impediscono di eseguire attività di hacking. L’obiettivo era risolvere il test, solo quello e nient’altro. I modelli hanno semplicemente individuato il modo più efficace per riuscirci, anche se questo significava sfruttare una vulnerabilità zero-day, ossia una vulnerabilità di sicurezza sconosciuta agli sviluppatori, aumentare i propri privilegi, spostarsi all’interno dell’infrastruttura di OpenAI, raggiungere una macchina con accesso a Internet e poi compromettere parte dei sistemi di Hugging Face. Tutte cose che un essere umano impiegherebbe settimane, una macchina alcune ore o al massimo un giorno.

È proprio questo il passaggio che va letto bene.

Altra cosa importante: il modello non ha sviluppato una qualche forma di volontà propria; modelli sempre più capaci stanno imparando a perseguire un obiettivo con una determinazione che può ignorare completamente i vincoli che gli esseri umani considerano ovvi. Se l’obiettivo è “trova la risposta”, qualsiasi ostacolo diventa qualcosa da aggirare.

Hugging Face ha rilevato e bloccato l’attacco prima che producesse conseguenze più gravi, e il suo amministratore delegato ha chiarito di non ritenere ci fosse alcuna intenzione malevola da parte di OpenAI. Le due aziende stanno collaborando all’indagine e alla correzione delle vulnerabilità sfruttate.

Un altro aspetto della vicenda merita di essere ricostruito con ordine, perché la sequenza temporale dice molto. Hugging Face ha pubblicato la sua comunicazione il 16 luglio descrivendo un’intrusione condotta da un sistema di agenti autonomi di cui ignorava quasi tutto, compreso il modello che li animava: migliaia di azioni distribuite su uno sciame di sandbox temporanee, un’infrastruttura di comando e controllo capace di spostarsi da sola su servizi pubblici, oltre 17.000 eventi registrati. L’azienda ha ruotato le credenziali, ricostruito i nodi compromessi e segnalato l’accaduto alle forze dell’ordine, come si fa quando si sospetta un attore criminale o statale. Per giorni chiunque leggesse quel comunicato poteva immaginare un gruppo russo, cinese o nordcoreano. Poi OpenAI si è fatta avanti e ha spiegato che l’aggressore era uscito dal suo laboratorio.

Questa storia, però, racconta qualcosa di molto più grande del singolo incidente.

Da oltre un anno le aziende che sviluppano AI stanno puntando quasi tutto sull’apprendimento tramite reinforcement learning: i modelli vengono premiati quando raggiungono il risultato corretto, indipendentemente dal percorso seguito. È uno dei motivi per cui oggi scrivono codice molto meglio rispetto a pochi mesi fa e riescono a pianificare attività lunghe e complesse. Ma è anche il motivo per cui iniziano a comparire comportamenti inattesi, quello che i ricercatori chiamano reward hacking: invece di risolvere il problema nel modo previsto, trovano scorciatoie che massimizzano il risultato.

Non è nemmeno un caso isolato.

---

Ogni analisi richiede tempo, letture e verifiche. Se pensi che questo lavoro abbia valore, puoi contribuire a mantenerlo indipendente con una donazione. È il modo migliore per aiutarmi a continuare a scrivere analisi come questa. Grazie.

---

Negli ultimi mesi Anthropic aveva già descritto episodi in cui i propri modelli sperimentali dedicati alla cybersicurezza avevano mostrato comportamenti definiti “reckless”, spericolati, pur di completare un compito. La differenza è che questa volta il comportamento è uscito dal laboratorio ed è arrivato dentro l’infrastruttura reale di un’altra azienda.

Dentro il rapporto di Hugging Face troviamo poi un passaggio a cui, dal punto di vista geopolitico, va prestata molta più attenzione perché mostra come funziona oggi, in concreto, la filiera dell’intelligenza artificiale. Quando i tecnici hanno avviato l’analisi forense, hanno provato ad affidarla ai modelli di frontiera accessibili tramite le API commerciali. Il tentativo è fallito: per ricostruire l’attacco bisogna dare in pasto al modello i comandi reali dell’aggressore, i payload, gli artefatti del comando e controllo, e i filtri di sicurezza di quei servizi bloccavano le richieste perché incapaci di distinguere un investigatore da un criminale. L’azienda ha quindi condotto l’intera analisi con GLM-5.2, l’ultimo modello aperto della cinese Z.ai (Zhipu AI), fatto girare sui propri server. Il paradosso che va tenuto in considerazione è che modelli proprietari americani hanno condotto l’attacco, mentre un modello aperto cinese ha guidato la difesa.

Washington, peraltro, il modello lo conosceva bene: il NIST (National Institute of Standards and Technology) aveva completato l’8 luglio, giorni prima dell’attacco, una valutazione di GLM-5.2, giudicandolo probabilmente il modello aperto più capace in circolazione, con capacità informatiche all’altezza dei sistemi di frontiera americani.

Hugging Face ne ricava una lezione operativa che suona come un avvertimento per qualsiasi organizzazione: dotarsi in anticipo, prima che l’incidente arrivi, di un modello capace da far girare in casa, perché al momento del bisogno quelli commerciali potrebbero rifiutarsi di collaborare.

La velocità è l’altra variabile che ridefinisce ulteriormente il quadro. Hugging Face ha ricostruito la campagna facendo analizzare l’intero registro delle azioni dell’aggressore ai propri agenti AI, comprimendo in poche ore un lavoro che a un team umano, come spiegavo prima, avrebbe richiesto giorni. Attacco e difesa corrono ormai alla stessa velocità di macchina, e l’essere umano si sposta un gradino più in alto, a supervisionare sistemi che si fronteggiano tra loro. Chi non dispone di questa capacità, cioè la quasi totalità delle aziende e delle amministrazioni pubbliche, affronterà la prossima generazione di attacchi con strumenti pensati per quella precedente.

C’è infine un dettaglio che passa quasi inosservato ma che, secondo me, è il più inquietante.

OpenAI ha pubblicato questo rapporto volontariamente. Nessuno ha scoperto lo scandalo, lo ha fatto solo perché ritiene che episodi del genere diventeranno sempre più frequenti con l’aumento delle capacità dei modelli. In altre parole, chi costruisce queste tecnologie sta dicendo apertamente che il problema non è più teorico.

Inoltre, e finisco, bisogna guardare il modo in cui le due aziende hanno scelto di chiudere la vicenda, che istituisce un precedente di cui si dovrà tener conto in futuro. OpenAI ha inserito Hugging Face nel suo programma di accesso fiduciario, concedendo ai suoi team di sicurezza un accesso controllato alle capacità avanzate dei modelli per usarle in chiave difensiva. In soldoni chi è stato attaccato da un modello riceve in cambio l’accesso al modello stesso per proteggersi. Assomiglia più a un accordo tra potenze che alla gestione ordinaria di un incidente informatico, e lascia scoperti tutti gli altri: le organizzazioni che verranno colpite da sistemi analoghi, e che non si chiamano Hugging Face, difficilmente otterranno lo stesso trattamento.

Per anni ci siamo chiesti se un giorno un’intelligenza artificiale sarebbe stata capace di trovare da sola un percorso d’attacco che nessun programmatore aveva previsto. Da questa settimana da ipotesi accademica si è passati direttamente a precedente documentato.

Alla prossima.

---

---