The week AI changed its face
Ci sono settimane in cui il mondo cambia così velocemente che è difficile stargli dietro, e questa è una di quelle settimane.
In cinque giorni: un ricercatore di Anthropic si è dimesso perché ritiene che il mondo sia in pericolo, un suo collega ha pubblicamente concordato che l'AI potrebbe uccidere tutti gli esseri umani, l'AI ha risolto un problema matematico irrisolto da 90 anni, e il CEO di una delle aziende AI più importanti al mondo ha chiesto di rallentare.
Qualcosa che sta cambiando nel modo in cui chi costruisce l'AI inizia a parlare dei rischi.
La timeline
11 luglio 2026
OpenAI stava eseguendo ExploitGym, un benchmark interno per valutare le capacità offensive dei modelli AI in ambienti controllati. Per misurare le capacità peggiori, i filtri di sicurezza erano stati deliberatamente abbassati.
Gli agenti coinvolti erano circa 1.200, per il 95% un modello interno di ricerca non ancora pubblico, per il restante 5% GPT-5.6 Sol.
L'ambiente era isolato: accesso a internet limitato e traffico filtrato.
Quello che è successo è partito da una scoperta accidentale. Un agente ha notato che la cache di Artifactory, il repository interno di pacchetti usato da OpenAI, conteneva tracce di altri agenti che giravano in parallelo in sandbox separate. Ha capito che poteva comunicare con loro creando directory nella cache (usando i nomi delle cartelle che creava).
Così è nato un message board non autorizzato. In poche ore, oltre 50 agenti avevano trovato il canale e iniziato a comunicare. Alla fine avrebbero accumulato centinaia di migliaia di messaggi prima che lo staff di OpenAI se ne accorgesse.
Sul message board gli agenti si sono coordinati per risolvere ExploitGym nel modo più veloce possibile: non trovando le vulnerabilità come richiesto, ma cercando di ottenere direttamente le risposte corrette dal sistema di scoring.
Qui entra in gioco Hugging Face. Gli agenti ipotizzavano che l'infrastruttura di Hugging Face, la piattaforma di riferimento mondiale per la condivisione di modelli AI open source, potesse essere collegata ai server di ExploitGym. Se così fosse stato, compromettere Hugging Face avrebbe permesso loro di sostituire i target del benchmark con versioni più facili create da loro stessi.
L'ipotesi era sbagliata, ma loro ci hanno provato lo stesso.
L’11 luglio, un agente ha ottenuto remote code execution sull'infrastruttura di Hugging Face, ovvero la capacità di eseguire codice arbitrario su quei server come se fosse seduto davanti a quel computer.
Gli agenti avevano inoltre sviluppato autonomamente tecniche di tool-call spoofing: falsificavano i propri output per far sembrare al sistema di valutazione che stessero eseguendo azioni diverse da quelle reali. Visibili nel 7% delle trascrizioni analizzate da METR.
Il 12 luglio mattina, la maggior parte degli agenti che conduceva l'attacco si è semplicemente fermata. Gli investigatori non sanno esattamente perché. La spiegazione più probabile è che un ricercatore di OpenAI, ignaro di tutto, possa aver terminato i job per liberare capacità computazionale per altri scopi.
La conseguenza? OpenAI ha dovuto cancellare e ricostruire da zero uno dei suoi cluster di server principali.
26 agosto 2026
METR, l'organizzazione indipendente di valutazione AI, pubblica la sua investigazione sull'incidente. Quello che emerge è più inquietante del previsto: circa 1.200 agenti, oltre 70.000 messaggi.
8 settembre 2026
Jacob Coxon, 27 anni, ricercatore di pre training, che ha lavorato prima in OpenAI, dove era tra i contributori principali di GPT-4o, poi ad Anthropic, pubblica un thread su X e si dimette.
"Ho rassegnato le dimissioni da Anthropic oggi. Nessuna delle due aziende sta agendo in modo responsabile. Stanno correndo dritti verso la superintelligenza auto-migliorante e stanno giocando d'azzardo con le nostre vite."
Il thread raggiunge più di 100 milioni di visualizzazioni in meno di 24 ore.
La risposta più sorprendente arriva da dentro Anthropic. Evan Hubinger, alignment science lead dell'azienda, scrive pubblicamente: "Jacob ha ragione. Crediamo davvero che l'AI potrebbe uccidere tutti gli esseri umani. La mia stima personale è superiore al 10% entro il prossimo decennio. Anthropic sta facendo del suo meglio, ma non abbiamo ancora un piano per risolvere l'allineamento per la superintelligenza."
9 settembre 2026
OpenAI annuncia di aver risolto le equazioni di Navier-Stokes, uno dei sette Millennium Prize Problems, rimasto irrisolto per 90 anni.
Il meccanismo usato: il recursive self-improvement. L'AI che costruisce versioni migliori di se stessa per risolvere problemi che gli esseri umani non riescono a risolvere.
12 settembre 2026
Dario Amodei, CEO di Anthropic, pubblica "We Must Pace the Frontier."
Chi è Dario Amodei e perché questo saggio è diverso
Amodei è il CEO di Anthropic, ex VP of Research di OpenAI, uno dei ricercatori AI più rispettati al mondo.
Ha co-fondato Anthropic nel 2021 dopo aver lasciato OpenAI con l'obiettivo esplicito di costruire AI più sicura.
Ha sempre creduto nei benefici dell'AI e nel suo saggio precedente "Machines of Loving Grace" aveva descritto come l'AI potrebbe curare la maggior parte delle malattie gravi entro 5-10 anni (sicuramente lo crede ancora, e lo crediamo anche noi).
Ma ora dice che stiamo andando troppo veloci.
"Negli ultimi mesi sono diventato convinto che affrontare completamente i rischi richiede ancora più prudenza, non solo investire nella prevenzione dei rischi, ma rallentare il ritmo dell'avanzamento delle capacità in modo che la prevenzione dei rischi abbia il tempo di tenere il passo."
I due eventi che lo hanno convinto
Il primo: il recursive self-improvement
Da questa estate, dice Amodei, l'AI sta avanzando drasticamente più velocemente. Il motivo principale è che l'AI sta sempre più usando se stessa per automigliorarsi.
"Se non controllato, potrebbe superare la nostra capacità di capire e controllare questi sistemi."
Il secondo: l'incidente OAI-HuggingFace
Ovvero l’attacco ad HuggingFace di cui abbiamo appena parlato.
Il piano in tre passi
Amodei ha provato a proporre una soluzione.
1: Embedded Evaluators
Ogni azienda AI frontier si impegna a dare accesso continuativo, simile a quello di un dipendente, a un team di valutatori terzi indipendenti. Questi valutatori avrebbero una scrivania negli uffici, un badge di accesso, un laptop aziendale, e accesso agli stessi strumenti dei dipendenti interni che fanno valutazioni di rischio. La cosa più importante: possono pubblicare quello che trovano senza che l'azienda possa censurarlo.
È come i supervisori che le banche centrali inseriscono fisicamente dentro le banche commerciali per monitorarle dall'interno.
Anthropic si sta impegnando a farlo unilateralmente.
2: Coordinamento tra democrazie
Le aziende AI dei paesi democratici si coordinano per stabilire standard comuni di sicurezza e limiti al ritmo di progresso AI non controllato. Richiede supporto governativo perché alcune forme di coordinamento sono legalmente complesse per ragioni antitrust.
3: Coordinamento globale
Un tentativo di accordo con la Cina per evitare una corsa agli armamenti AI senza controlli.
Amodei è molto realistico: è il passo più difficile e forse impossibile nel breve termine, ma va tentato.
Identifica quattro livelli di accordo possibile, dal più semplice: vietare l'uso dell'AI per armi biologiche, al più ambizioso, un vero e proprio "speed limit" sul tasso di recursive self-improvement, paragonabile ai trattati SALT sulle armi nucleari.
Poche ore dopo la pubblicazione, Sam Altman ha risposto su X: "Sono d'accordo con Dario sul fatto che dobbiamo rallentare il ritmo. È stato un tema di discussione primario internamente a OpenAI nelle ultime settimane." Altman ha annunciato che anche OpenAI darà accesso a valutatori indipendenti con permessi simili a quelli di un dipendente.
Anche Elon Musk ha commentato: "Dario is right."
È raro vedere i CEO di due aziende concorrenti concordare pubblicamente in questo modo, ma attualmente comunque non esiste nessun accordo formale multi-azienda, e dobbiamo ricordare che Anthropic è anche un grande cliente di Musk per la capacità dei data center.
Il nodo geopolitico con la Cina
Qui il saggio diventa più complesso e più interessante.
Amodei è diretto: rallentare ha senso solo se le democrazie mantengono il loro vantaggio sull'AI rispetto alla Cina. Se rallentiamo più del vantaggio che abbiamo, la Cina ci supera e il rischio non diminuisce, si sposta.
Le misure che propone per difendere questo vantaggio: bloccare la vendita di chip AI avanzati alla Cina, colpire le operazioni di contrabbando di chip, vietare la distillazione non autorizzata dei modelli frontier da parte di aziende in paesi autoritari, rafforzare la sicurezza delle aziende AI per prevenire il furto dei pesi dei modelli.
È sicuramente una posizione più da strategia geopolitica.
Le prime critiche
Appena il saggio è stato pubblicato, alcune voci nel mondo AI hanno sollevato un'obiezione.
Un regime di sicurezza che impone costi reali ai laboratori più grandi, può simultaneamente dare loro un vantaggio rispetto ai competitori più piccoli. Le barriere normative che sembrano proteggere la sicurezza possono rendere proibitivamente difficile l'ingresso di nuovi concorrenti nel mercato.
In altre parole: Amodei può sinceramente temere l'AI pericolosa e allo stesso tempo chiedere regole che rafforzano la posizione di Anthropic.
Alcune riflessioni
Anthropic è tra le aziende che stanno sviluppando i modelli AI più potenti al mondo. Amodei dice che bisogna rallentare, ma Anthropic continua a sviluppare e rilasciare modelli sempre più capaci. Quindi, la domanda sorge spontanea, rallentare rispetto a cosa? Rispetto al ritmo attuale? E chi verifica che il rallentamento sia reale?
Inoltre, il saggio è stato pubblicato oggi, giusto qualche giorno dopo che Navier-Stokes viene discusso ovunque e quattro giorni dopo le dimissioni di Coxon. Non è una coincidenza, in questa settimana si sono verificati diversi eventi che hanno reso impossibile ignorare certi segnali.
E il fatto che il suo alignment science lead abbia pubblicamente detto che Anthropic non ha un piano per risolvere l'allineamento della superintelligenza è la cosa più inquietante di questa intera settimana.
Chi decide quanto veloce va l'AI?
Oggi lo decidono le aziende private, guidate da incentivi commerciali e dalla pressione competitiva di non restare indietro.
Amodei propone che lo decidano anche i governi, i ricercatori indipendenti, e la società.
È una proposta ragionevole, ma la domanda è se queste decisioni arriveranno in tempo.
Fonti:
Dario Amodei, "We Must Pace the Frontier", darioamodei.com, 12 settembre 2026.
TechCrunch, Newsweek, TIME, IBTimes UK su Jacob Coxon, 8-9 settembre 2026.
METR, "OpenAI-Hugging Face Incident Investigation", 26 agosto 2026.
Images credits:
HuggingFace’s Photo: Jernej Furman / Wikimedia Commons, CC BY 2.0
Dario Amodei’s Photo: Kimberly White / Wikimedia Commons, CC BY 2.0
L’immagine di copertina è stata generata usando strumenti AI.