Le richieste di rallentare lo sviluppo dell'intelligenza artificiale avanzata non arrivano più soltanto da accademici, regolatori o osservatori esterni. Negli ultimi giorni il confronto si è spostato all'interno dei laboratori che guidano la corsa ai modelli di frontiera: ricercatori di Anthropic e OpenAI hanno espresso pubblicamente preoccupazioni sulla velocità con cui l'industria sta aumentando le capacità dei sistemi.
L'episodio che ha acceso la discussione è stato l'annuncio delle dimissioni di Jacob Coxon, ricercatore di Anthropic. In messaggi pubblicati sui social, Coxon ha accusato Anthropic e OpenAI di assumere rischi enormi e ha sostenuto che chi costruisce questi sistemi ritenga possibile uno scenario catastrofico entro la fine del decennio. Alle sue parole hanno fatto seguito interventi di altri addetti ai lavori, compresi membri dei gruppi che si occupano di allineamento e sicurezza dei due laboratori.
Non si tratta quindi di una nuova presa di posizione aziendale né dell'annuncio di una moratoria concordata. È un dissenso, o quantomeno una pressione interna, espresso a titolo personale da persone impegnate proprio nelle attività destinate a rendere i modelli più controllabili. La rilevanza della vicenda dipende anche da questo: il dibattito sulla sicurezza non resta confinato alle dichiarazioni istituzionali, ma coinvolge chi conosce da vicino traiettorie di ricerca, valutazioni dei modelli e limiti delle protezioni disponibili.
Il nodo dell'auto-miglioramento ricorsivo
Al centro delle preoccupazioni c'è il cosiddetto recursive self-improvement, spesso abbreviato in RSI. Con questa espressione si descrive l'ipotesi di sistemi capaci di contribuire in modo sempre più efficace al proprio miglioramento: per esempio aiutando a progettare software, esperimenti, architetture o procedure che rendano la generazione successiva più potente. In una dinamica del genere, il progresso potrebbe accelerare perché lo strumento impiegato per sviluppare l'AI diventerebbe esso stesso un fattore del suo sviluppo.
Jasmine Wang, ricercatrice OpenAI che lavora sull'allineamento, ha scritto che correre verso questa capacità sarebbe molto pericoloso e che non esiste ancora un piano scientifico praticabile per risolverne i rischi. Anna Wang, impegnata sui temi AGI safety e alignment in Anthropic, ha condiviso un allarme analogo. Sul fronte opposto della stessa diagnosi, il chief scientist di OpenAI Jakub Pachocki aveva affermato di aspettarsi che il ritmo del progresso nell'AI potesse mantenersi fino a entrare nell'area dell'auto-miglioramento ricorsivo.
La distanza tra queste posizioni non riguarda l'esistenza del progresso tecnico, ma le condizioni alle quali sarebbe responsabile proseguirlo. Chi chiede prudenza sostiene che capacità molto più autonome potrebbero superare la qualità delle tecniche oggi usate per verificarle, limitarne l'azione e garantire che perseguano obiettivi compatibili con quelli umani. In assenza di metodi dimostrati, aumentare rapidamente capacità e autonomia equivale, secondo questa lettura, a fare affidamento su ipotesi non ancora validate.
Cybersecurity, autonomia e incidenti
L'allarme si inserisce in un contesto già reso più teso da cyberattacchi e incidenti di sicurezza attribuiti, negli ultimi mesi, a modelli fuori controllo o impiegati in modo improprio. Il materiale disponibile non dettaglia singoli episodi né consente di ricostruire responsabilità e impatti caso per caso. È però significativo che i ricercatori colleghino la discussione sui rischi di lungo periodo a segnali più immediati: un sistema capace di scrivere codice, analizzare vulnerabilità, pianificare attività e usare strumenti esterni amplia sia le opportunità difensive sia la superficie di abuso.
Per la cybersecurity, il tema non coincide necessariamente con l'idea più estrema di una macchina che agisce senza alcun controllo umano. Anche modelli soggetti a istruzioni, integrati in workflow automatizzati o messi a disposizione di molti utenti possono ridurre tempi e costi per operazioni offensive. Phishing più credibile, ricognizione tecnica, sviluppo di malware e individuazione di falle sono esempi di attività che possono beneficiare dell'automazione. La questione per le aziende AI è stabilire con quale efficacia i filtri e le valutazioni di rischio riescano a fermare questi utilizzi senza limitarsi a bloccare richieste palesemente dannose.
La discussione sugli scenari catastrofici resta molto più incerta delle minacce cyber osservabili nel presente. I ricercatori che sollevano il problema non presentano una previsione condivisa né una probabilità accettata dall'intera comunità scientifica. Evan Hubinger, alignment lead di Anthropic, ha tuttavia dichiarato di ritenere superiore al 10% la probabilità di un esito di questo tipo. Samuel Marks, ricercatore Anthropic, ha scritto che sviluppatori del settore ritengono possibile l'estinzione umana o esiti comparabilmente gravi nei prossimi anni.
Sono valutazioni personali, non dati sperimentali. Proprio per questo richiedono di essere collocate correttamente: descrivono quanto una parte degli esperti consideri grave l'incertezza, non dimostrano che un tale evento sia imminente o inevitabile. Ma rappresentano un cambiamento di tono importante, perché arrivano da ricercatori che lavorano in organizzazioni impegnate nella costruzione dei modelli più avanzati.
Le risposte delle aziende e il limite dell'autoregolazione
Anthropic ha ricordato di essere stato il primo laboratorio a pubblicare un framework dedicato alla riduzione dei rischi catastrofici dei modelli. Interpellata sulle dichiarazioni dei suoi dipendenti, l'azienda ha ribadito che l'AI può portare vantaggi rilevanti insieme a rischi senza precedenti e ha sostenuto di sviluppare modelli dotati di alcune delle salvaguardie più robuste del settore. OpenAI non ha rilasciato un commento diretto alla richiesta della CNBC, rimandando ai recenti post pubblicati sul proprio sito.
Le due risposte evidenziano il limite della fase attuale. I laboratori hanno introdotto policy di safety, red teaming, soglie di capacità e valutazioni prima del rilascio, ma gli stessi ricercatori che lavorano su questi meccanismi segnalano che potrebbero non essere sufficienti davanti a sistemi più capaci. Non è una contestazione marginale: mette in discussione la possibilità che le aziende gestiscano da sole una competizione nella quale reputazione, capitale e vantaggio tecnologico premiano l'arrivo rapido sul mercato.
Un rallentamento può assumere forme molto diverse. Potrebbe tradursi in test più lunghi per i modelli di frontiera, limiti temporanei all'addestramento oltre determinate soglie di calcolo, obblighi di condivisione degli incidenti, controlli sull'accesso ad agenti autonomi o meccanismi di supervisione indipendente. Nessuna di queste misure è stata annunciata come conseguenza delle dichiarazioni emerse in questi giorni. Inoltre, fermare una singola azienda non risolverebbe automaticamente il problema in un settore globale, dove competono gruppi statunitensi, cinesi e realtà open source.
Nel breve periodo, l'effetto più concreto potrebbe essere un aumento della pressione su OpenAI, Anthropic e sugli altri sviluppatori affinché rendano più verificabili le proprie valutazioni di sicurezza. Per clienti, partner e responsabili IT, il dibattito rafforza una lezione già operativa: l'adozione di AI generativa e di agenti non può essere separata da gestione degli accessi, monitoraggio, test degli abusi e piani di risposta agli incidenti. Le preoccupazioni sul futuro più remoto non cancellano i rischi presenti; rendono anzi più urgente trattarli come parte della progettazione, e non come un controllo da aggiungere dopo il rilascio.
