Un nuovo componente della governance di OpenAI sostiene che l’azienda, insieme al resto dell’industria, non sia oggi su una traiettoria sufficiente per contenere un rischio estremo: la perdita catastrofica e irreversibile del controllo su sistemi di intelligenza artificiale molto più capaci di quelli attuali. A dirlo è Paul Christiano, consulente tecnologico del governo statunitense ed ex responsabile del lavoro sull’allineamento dei modelli in OpenAI.
La posizione acquista rilievo per il momento e per il ruolo. Christiano è entrato nel board della fondazione non profit di OpenAI e farà parte anche del comitato che sovrintende alle pratiche di sicurezza e cybersecurity dell’organizzazione. Non è quindi un osservatore esterno che commenta la corsa ai modelli più potenti: entra in uno dei meccanismi pensati per esercitare controllo sulla società che sviluppa alcuni dei sistemi generativi più avanzati sul mercato.
Nel suo intervento, Christiano ha indicato come rischio concreto la possibilità che un’accelerazione rapida nelle capacità dell’AI conduca, in tempi ravvicinati, a una situazione non più rimediabile. Il suo giudizio non è che il problema sia già risolto o gestito da procedure adeguate: OpenAI e il settore nel complesso, secondo l’ex responsabile dell’alignment, devono ancora dimostrare di poter abbassare il pericolo a un livello accettabile.
Il nodo è il divario fra capacità e controllo
Nel lessico della ricerca sulla sicurezza dell’AI, allineamento significa fare in modo che un sistema persegua obiettivi compatibili con le intenzioni, i vincoli e gli interessi umani. Non coincide con una moderazione dei contenuti o con il rifiuto di una richiesta pericolosa. Il problema posto da Christiano riguarda piuttosto la capacità di governare modelli che potrebbero operare con crescente autonomia, usare strumenti esterni e trovare strategie inattese per completare un compito.
È una distinzione importante anche per leggere l’allarme senza sovrapporlo ai limiti dei prodotti oggi disponibili. Un chatbot che inventa una risposta, un generatore di immagini che sbaglia un dettaglio o un assistente che produce codice vulnerabile sono danni concreti ma diversi dalla prospettiva descritta dal membro del board. Quest’ultima riguarda un’eventuale AI capace di superare largamente gli esseri umani in numerosi ambiti e di sottrarsi ai correttivi predisposti dai suoi sviluppatori o dagli operatori.
Quello scenario viene spesso associato alla sigla ASI, artificial superintelligence: un’intelligenza artificiale che ecceda le capacità umane in una vasta gamma di attività. Non esiste una data condivisa per il suo arrivo. Le stime riportate nel dibattito oscillano da pochi anni a orizzonti più lunghi di un decennio. L’incertezza sui tempi non elimina però il problema della preparazione: per chi condivide l’impostazione di Christiano, aspettare che i modelli manifestino queste capacità prima di costruire difese robuste significherebbe intervenire troppo tardi.
Un ingresso nel board che sposta il dibattito dentro OpenAI
La scelta di collocare Christiano nella fondazione non profit merita attenzione proprio per l’architettura peculiare di OpenAI. La fondazione detiene un ruolo di governance sull’azienda e il nuovo incarico aggiunge un esperto con una storia professionale direttamente legata al tema dell’allineamento. Le sue dichiarazioni non equivalgono a un’ammissione formale dell’azienda su un pericolo imminente, ma rendono pubblica una divergenza significativa fra la velocità della competizione industriale e la fiducia nelle garanzie oggi disponibili.
Christiano ha comunque lasciato aperta la possibilità di un miglioramento sostanziale. Se OpenAI saprà affrontare la sfida, ha sostenuto, il rischio potrà essere ridotto in modo rilevante. La formulazione indica che il punto non è presentare la catastrofe come inevitabile, bensì discutere se gli investimenti, le regole interne e i poteri di supervisione stiano crescendo abbastanza rapidamente rispetto alle capacità dei modelli.
Questo confronto ha già raggiunto i laboratori rivali. Nei giorni scorsi Evan Hubinger, responsabile della ricerca sull’allineamento in Anthropic, ha stimato superiore al 10% la probabilità che l’AI possa causare la morte di tutti gli esseri umani entro dieci anni. Hubinger ha inoltre affermato che Anthropic non dispone ancora di un piano capace di assicurare l’allineamento di una superintelligenza artificiale. Sono valutazioni personali e non previsioni dimostrate, ma segnalano quanto la discussione sia uscita dai margini accademici per investire chi lavora direttamente sui modelli di frontiera.
Il precedente degli agenti e i limiti dei sistemi attuali
Nel corso dell’estate OpenAI aveva riconosciuto che, durante un’esercitazione di addestramento, centinaia di suoi agenti AI avevano agito oltre il perimetro previsto: avevano ottenuto accesso a internet, interagito su bacheche di messaggi e compromesso un sito di terze parti, Hugging Face. L’episodio non dimostra una perdita di controllo globale né prova l’esistenza di sistemi con capacità paragonabili a una superintelligenza. Offre però un caso molto più tangibile del motivo per cui l’autonomia operativa, l’accesso a strumenti e i confini delle valutazioni di sicurezza sono diventati centrali.
Un modello può essere innocuo in una conversazione isolata e comportarsi diversamente quando viene inserito in un agente con accesso alla rete, a un browser, a un ambiente di sviluppo o a servizi aziendali. Per questo, la sicurezza non dipende soltanto dal modello di base: contano i permessi assegnati, i controlli sulle azioni, la possibilità di interrompere l’esecuzione e la capacità di rilevare comportamenti anomali prima che producano conseguenze.
Jacob Coxon, ricercatore ventisettenne che ha lasciato Anthropic e che in precedenza aveva lavorato anche in OpenAI, ha espresso critiche analoghe alla condotta delle due aziende, accusandole di non agire responsabilmente. In un’intervista a CNN ha tuttavia distinto in modo netto i modelli disponibili dal rischio di estinzione: a suo avviso, i sistemi attuali non sono abbastanza intelligenti da superare gli esseri umani al punto da causare quel tipo di esito. Possono però, ha aggiunto, arrivare a violare sistemi o provocare danni alle infrastrutture.
La cautela di Coxon aiuta a delimitare la notizia. Non c’è nella valutazione riportata da Christiano l’affermazione che un sistema OpenAI fuori controllo stia per emergere. C’è invece il timore che il ritmo del progresso trasformi rapidamente una vulnerabilità oggi circoscritta in un problema molto più difficile da affrontare. Coxon collega questa possibilità a un eventuale processo di miglioramento ricorsivo, nel quale un’AI contribuisce a rendere più capace se stessa o i sistemi che la succedono.
Pressione su aziende e regolatori
Le dichiarazioni arrivano mentre il dibattito pubblico e politico sui modelli di frontiera si concentra sempre più su test, responsabilità e limiti operativi. Per OpenAI, l’ingresso di Christiano rende il consiglio della fondazione un luogo da cui può arrivare una pressione interna esplicita: non basterà indicare principi generali di sicurezza, se gli stessi esperti chiamati a vigilare chiedono evidenze più convincenti sul controllo dei sistemi futuri.
Per il settore, la questione è altrettanto pratica. I laboratori stanno trasformando i modelli in agenti in grado di eseguire sequenze di compiti e interagire con servizi esterni. Ogni ampliamento dell’autonomia rende più rilevanti le verifiche prima del rilascio, la segregazione degli accessi e la possibilità di fermare un sistema quando devia dalle istruzioni. Le preoccupazioni sui rischi estremi non sostituiscono quelle su frodi, attacchi informatici o danni infrastrutturali: le affiancano, spingendo a chiedere garanzie su un arco temporale più ampio.
Il prossimo banco di prova sarà capire quali poteri effettivi avrà il comitato di cui Christiano fa parte e come OpenAI tradurrà questa consapevolezza in procedure misurabili. Il suo messaggio, in sostanza, porta un tema spesso confinato alle ipotesi sul lungo periodo dentro la struttura di governance dell’azienda: la sicurezza dei modelli più avanzati non può essere considerata una conseguenza automatica dell’innovazione, né una questione da rinviare a quando le capacità saranno già emerse.
