Valutare un agente di intelligenza artificiale che opera in ambito scientifico dal solo risultato finale può essere fuorviante. Un codice può funzionare, un’ipotesi può apparire plausibile o una risposta può superare un test anche quando il percorso che l’ha prodotta è fragile, inefficiente o basato su tentativi fortunati. È da questa lacuna che nasce OpenDiscoveryTrace, dataset presentato su arXiv da Aayam Bansal e Keertan Balaji per spostare l’attenzione dalle risposte ai processi di lavoro degli agenti.
Il progetto rende disponibili 558 traiettorie complete di agenti AI impegnati in 124 attività scientifiche. Le prove coprono scoperta di farmaci, scienza dei materiali, genomica e analisi della letteratura scientifica. L’obiettivo non è stabilire soltanto se un modello arrivi alla conclusione desiderata, ma consentire di ricostruire ciò che accade lungo il percorso: quali strumenti usa, che cosa osserva, quando incontra errori, quali segnali lo spingono a correggere la rotta e con quanta sicurezza dichiara di procedere.
Per il settore degli agenti autonomi, la differenza è rilevante. I benchmark più diffusi tendono a condensare prestazioni complesse in una metrica di successo: compito completato oppure no, output corretto oppure no. È una misura utile, ma insufficiente quando il sistema viene proposto per contesti nei quali la procedura ha valore quanto l’esito, dalla ricerca biomedica alla sintesi di evidenze nella letteratura accademica. Una risposta giusta ottenuta ignorando vincoli, interpretando male un risultato sperimentale o utilizzando uno strumento in modo improprio non offre le stesse garanzie di un risultato raggiunto con un metodo verificabile.
Una traccia strutturata per ogni passaggio
Ogni passaggio delle traiettorie di OpenDiscoveryTrace è descritto attraverso nove campi. Il dataset include i pensieri riportati dal modello, le chiamate agli strumenti, le osservazioni ricevute, gli errori, i fattori che attivano una revisione e il livello di confidenza auto-dichiarato. La disponibilità di questi elementi permette di studiare l’agente come una sequenza di decisioni, anziché come una scatola nera valutata al termine di un incarico.
Questa impostazione non trasforma automaticamente le tracce in una fotografia fedele del ragionamento interno di un modello. I pensieri e le confidenze registrate sono infatti contenuti prodotti o comunicati dal sistema nell’ambito del framework sperimentale, non una prova diretta di ogni meccanismo computazionale che porta alla risposta. Restano però segnali operativi utili per l’audit: mostrano la pianificazione esplicita dell’agente, il suo rapporto con tool e fonti, le revisioni dichiarate e le anomalie che emergono durante l’esecuzione.
Il dataset comprende tre modelli di frontiera — GPT-5.4, Claude Opus 4.6 e Gemini 3.1 Pro — con 124 traiettorie ciascuno, bilanciate per dominio e difficoltà secondo gli autori. A questi si aggiungono Qwen2.5-7B, Mistral-7B-v0.3, Phi-3.5-mini e Qwen2.5-1.5B, oltre a 60 traiettorie di una variante con recupero di informazioni in tempo reale. Mettere nello stesso archivio famiglie proprietarie e modelli open-weight può aiutare a confrontare non solo l’accuratezza di arrivo, ma gli stili di esecuzione e le aree in cui ciascuna architettura tende a fallire.
Successi simili, comportamenti molto diversi
La prima analisi proposta nel lavoro riguarda 363 traiettorie giudicate da un LLM. Secondo i ricercatori, i tre modelli di frontiera raggiungono percentuali di successo abbastanza vicine, comprese fra l’84% e l’89%. Se ci si fermasse a questo dato, il loro comportamento apparirebbe sostanzialmente comparabile.
Le tracce raccontano invece una storia più articolata. Claude Opus 4.6 registra in media 2,5 errori per traiettoria, contro 0,08 per GPT-5.4: una differenza che il paper quantifica in circa trenta volte e considera statisticamente significativa. Cambia anche la natura dei problemi rilevati. Per Claude, il 66,7% degli errori osservati è associato a un uso scorretto degli strumenti; per GPT-5.4, l’83,6% ricade invece nella categoria degli errori di ragionamento.
Non si tratta di una graduatoria definitiva tra modelli. Il campione analizzato è circoscritto, la classificazione si basa su giudizi di un altro LLM e il preprint non equivale a una validazione indipendente conclusa. Il valore del confronto sta piuttosto nel dimostrare il limite di una valutazione esclusivamente finale: sistemi con tassi di completamento simili possono richiedere interventi e controlli molto differenti. Un agente che sbaglia soprattutto nell’uso di un database, di un motore di ricerca o di un tool specialistico pone un problema diverso da uno che utilizza correttamente gli strumenti ma costruisce inferenze errate sui dati ottenuti.
Dal benchmark all’audit di laboratorio
OpenDiscoveryTrace definisce inoltre cinque compiti di benchmark e fornisce basi di confronto che includono regressione logistica, random forest, LSTM e modelli Transformer. Il lavoro mette a disposizione con licenza CC BY 4.0 il dataset, lo schema delle tracce, l’agent harness usato per raccoglierle e le definizioni delle prove. La scelta dell’apertura è importante perché rende possibile replicare le analisi, proporre metriche alternative e addestrare strumenti capaci di individuare pattern di rischio nei flussi di lavoro degli agenti.
Le applicazioni potenziali vanno in più direzioni. I team che sviluppano agenti per la ricerca possono usare queste sequenze per capire se un miglioramento dell’output nasconde un aumento delle azioni improprie, delle correzioni tardive o dell’eccessiva fiducia. Chi integra tali sistemi in un’organizzazione può definire punti di supervisione basati sul tipo di attività svolta: per esempio, richiedere revisione umana dopo una chiamata a uno strumento critico o quando l’agente modifica un’ipotesi dopo un errore. Per la ricerca sulla governance, una traccia standardizzata offre infine una base più concreta per discutere responsabilità, tracciabilità e requisiti di controllo.
Naturalmente, un dataset non risolve da solo il problema della verificabilità scientifica. Le traiettorie rappresentano un insieme specifico di modelli, compiti e configurazioni sperimentali; il comportamento può cambiare con strumenti diversi, istruzioni differenti, nuovi modelli o accesso a fonti live. Anche l’uso di valutatori automatici richiede cautela: un LLM incaricato di individuare errori può introdurre classificazioni discutibili o mancare difetti che un esperto di dominio riconoscerebbe. Il passo successivo sarà quindi verificare se le metriche di processo restano informative in ambienti più vicini al lavoro scientifico reale e con valutazioni umane specialistiche.
Il preprint, inviato il 5 settembre 2026 e premiato come Best Dataset all’ICML 2026 Workshop on AI for Science dedicato agli AI scientists, arriva mentre l’industria spinge verso sistemi capaci di pianificare, cercare evidenze, eseguire strumenti e iterare su un problema. In questo scenario, chiedere conto del percorso non è un dettaglio metodologico. È una condizione per distinguere un agente che produce occasionalmente una buona risposta da uno il cui lavoro possa essere ispezionato, corretto e, con i limiti del caso, riutilizzato.
