Le spiegazioni prodotte dai sistemi di intelligenza artificiale vengono spesso presentate come un ponte fra modelli complessi e persone: indicano quali variabili hanno pesato su una decisione, aiutano a individuare anomalie e, almeno in teoria, permettono di valutare se l’algoritmo stia ragionando in modo accettabile. Un nuovo position paper pubblicato su arXiv invita però a separare due questioni che vengono frequentemente sovrapposte: avere una spiegazione e avere una spiegazione che rappresenti davvero il comportamento del modello.
Il lavoro, firmato da Marco Zullich, Emily Schiller, Ivan Gentile, David Dembinsky, Adriano Lucieri, Kilian Göller e Steffen Seitz, concentra l’attenzione sulle metriche di faithfulness, o fedeltà, applicate alle tecniche di feature importance. Sono gli strumenti che attribuiscono maggiore o minore rilevanza agli input di un modello: nel caso di un classificatore di immagini potrebbero evidenziare porzioni dell’immagine, in un sistema tabellare potrebbero ordinare le caratteristiche considerate determinanti, mentre in altri contesti potrebbero segnalare gli elementi che avrebbero orientato una previsione.
La tesi degli autori non è che l’Explainable AI (XAI) sia inutile. Piuttosto, avverte che la sua valutazione poggia su criteri la cui solidità è spesso data per acquisita. Se la metrica di fedeltà non riesce a stabilire con rigore quanto una spiegazione corrisponda effettivamente al modello, un risultato positivo può essere letto con più sicurezza di quanta ne meriti. Per chi sviluppa o adotta sistemi automatizzati, la distinzione è sostanziale: una visualizzazione convincente non certifica che il sistema abbia usato proprio le informazioni evidenziate per arrivare a quella risposta.
Il problema della distanza tra modello e spiegazione
Le tecniche di XAI cercano normalmente di rendere osservabile un comportamento che, nei modelli più articolati, non è immediatamente interpretabile. Per farlo ricorrono a semplificazioni: producono una mappa, una graduatoria o una descrizione più maneggevole rispetto ai meccanismi interni del modello. Questa semplificazione può però introdurre una distanza tra il resoconto fornito all’utente e la logica effettiva della previsione. Nel lessico della ricerca, questa distanza viene descritta come infedeltà.
Una metrica di fedeltà dovrebbe misurare proprio quella corrispondenza: in che misura l’importanza assegnata alle caratteristiche dall’explicator approssima ciò che accade nel modello. È una proprietà rilevante, ma non esaurisce il giudizio su una spiegazione. Un output può essere fedele senza essere comprensibile a chi lo deve usare; può essere comprensibile senza essere abbastanza fedele; può inoltre essere poco utile per il compito pratico in cui viene inserito. Il paper tratta la fedeltà come un componente della più ampia affidabilità delle spiegazioni, non come un sigillo definitivo sulla qualità dell’AI.
Il contesto richiamato dagli autori è altrettanto importante. Nell’ultimo decennio l’idea che rendere un modello “spiegabile” aumenti automaticamente la fiducia è stata messa in discussione da risultati empirici. Secondo il paper, le spiegazioni possono favorire un eccesso di affidamento anche quando la predizione è errata. Quando quell’affidamento viene successivamente smentito, può trasformarsi nella reazione opposta: diffidenza verso l’algoritmo. La trasparenza apparente, dunque, non costruisce necessariamente un rapporto più equilibrato fra persone e sistemi automatici.
Perché la valutazione non è un dettaglio metodologico
La ricerca sulle spiegazioni viene spesso raccontata attraverso demo intuitive: una heatmap su una radiografia, una lista delle parole più influenti in un testo, il peso attribuito a reddito, età o storico dei pagamenti in una decisione automatizzata. Ma dietro a questi output esiste un problema di validazione. Se manca un riferimento diretto e verificabile del ragionamento interno del modello, misurare la bontà della spiegazione diventa difficile; se quel controllo richiede un numero eccessivo di calcoli, può diventare impraticabile nei casi reali.
Gli autori sostengono che le metriche attuali soffrano di cinque grandi limiti e che questi rendano la quantificazione della fedeltà o non realmente praticabile, o molto onerosa dal punto di vista computazionale. L’abstract non dettaglia i singoli cinque punti, quindi sarebbe improprio attribuire loro difetti specifici non riportati nel documento disponibile. Il messaggio centrale, tuttavia, è chiaro: non basta assegnare un punteggio a una spiegazione per trasformarla in una misura oggettiva di allineamento con il modello.
È un’avvertenza che riguarda sia i ricercatori sia le organizzazioni. In un laboratorio, una metrica debole può portare a concludere che un metodo di feature importance sia superiore a un altro quando la differenza osservata dipende dal test scelto. In azienda o nella pubblica amministrazione, lo stesso equivoco può entrare nei processi di audit, nella documentazione tecnica e nella valutazione dei rischi. La spiegazione diventa allora un artefatto rassicurante, ma non necessariamente uno strumento capace di far emergere scorciatoie, correlazioni spurie o criteri indesiderati appresi dal modello.
Il position paper propone anche una lettura più concreta dell’XAI: uno strumento di debugging. In questo ruolo, le spiegazioni possono offrire indicazioni puntuali sulle caratteristiche che il modello sembra avere appreso e aiutare chi lo sviluppa a formulare ipotesi da verificare. È un impiego utile, ma diverso dalla promessa di rendere automaticamente affidabile una decisione o di consentire a un utente non tecnico di validarla. Un’indicazione emersa da una spiegazione dovrebbe quindi essere trattata come un segnale investigativo, da confrontare con dati, test e conoscenza del dominio, non come una prova autosufficiente.
Quattro direzioni di ricerca, senza scorciatoie
Il contributo non si limita alla critica. Gli autori indicano quattro possibili direzioni di ricerca per rendere più affidabili le valutazioni di fedeltà. Anche in questo caso, il sommario reso pubblico non ne espone i contenuti operativi: il dato certo è che la proposta punta a intervenire sulle fondamenta con cui le spiegazioni vengono misurate, anziché a presentare una nuova tecnica pronta all’uso.
Questo approccio è coerente con la natura di un position paper. Non annuncia un prodotto, un benchmark definitivo o una soluzione capace di chiudere il dibattito; chiede alla comunità di riesaminare assunzioni metodologiche consolidate. Il lavoro è stato presentato al workshop XAI di IJCAI-ECAI 2026 ed è disponibile come preprint su arXiv. Va quindi letto come un contributo al confronto scientifico, non come una certificazione o come una revisione sistematica conclusiva del settore.
Per gli utilizzatori finali la conseguenza più immediata è un invito alla prudenza nell’interpretare formule come “il modello ha deciso così perché…”. Quella frase può riferirsi a una spiegazione post-hoc, cioè costruita dopo la predizione, e il suo grado di aderenza al processo decisionale dipende dal metodo adottato e da come è stato valutato. Chiedere quale metrica sia stata usata, quali limiti dichiari e se esistano verifiche indipendenti è più utile che limitarsi a osservare un grafico ordinato per importanza.
La discussione arriva mentre l’AI entra in un numero crescente di procedure dove spiegabilità, controllo e responsabilità contano quanto l’accuratezza. Il paper non afferma che queste tecniche vadano abbandonate. Sostiene però che una spiegazione non può essere considerata un’ancora affidabile se gli strumenti pensati per verificarla non riescono a misurarne con sufficiente rigore il legame con il modello. Per l’XAI la prossima sfida non è produrre visualizzazioni più persuasive, ma criteri di verifica che aiutino a distinguere un racconto plausibile da un’evidenza tecnica solida.
