Un modello predittivo clinico può apparire convincente in un articolo scientifico e tuttavia rimanere difficile da verificare, riprodurre o adattare a un ospedale diverso da quello in cui è stato sviluppato. Alla base di questo scarto c’è spesso un elemento meno visibile dei dati e delle metriche finali: il codice analitico impiegato per preparare le informazioni, addestrare o configurare il modello e misurarne le prestazioni.
Un’analisi pubblicata su Nature Medicine fotografa quanto la sua condivisione sia ancora poco diffusa nella ricerca sui clinical prediction models. Il gruppo di ricerca ha esaminato 3.967 articoli open access che citavano le linee guida TRIPOD o il loro aggiornamento TRIPOD+AI. Soltanto 482 lavori, pari al 12,2%, contenevano una dichiarazione sulla condivisione del codice. Il dato non misura semplicemente una preferenza editoriale: riguarda la possibilità concreta di sottoporre i risultati a un controllo indipendente prima che un modello destinato a diagnosi o prognosi entri nei flussi di cura.
La revisione è stata condotta con una pipeline assistita da large language model, utilizzata per affrontare una letteratura numerosa: identificare gli studi pertinenti, individuare gli eventuali collegamenti ai repository e poi esaminare il materiale recuperato. Gli autori hanno valutato i repository secondo 14 caratteristiche predefinite legate alla riproducibilità. Il risultato, oltre alla limitata presenza di dichiarazioni di condivisione, è una forte disomogeneità nella qualità e nella documentazione del software disponibile.
Il codice è parte del metodo, non un allegato facoltativo
Nei modelli di predizione clinica il codice non coincide con il solo algoritmo. Può racchiudere le regole con cui si selezionano i pazienti, si trattano dati mancanti o valori anomali, si trasformano le variabili, si definiscono gli esiti e si separano i campioni per sviluppo e validazione. Comprende inoltre le scelte di modellazione, la regolazione dei parametri e le procedure con cui si calcolano accuratezza, calibrazione e altre misure di performance.
Due team possono quindi dichiarare di avere applicato lo stesso approccio metodologico e ottenere risultati diversi, se uno di questi passaggi resta implicito o non è ricostruibile. Nella ricerca biomedica questo è particolarmente rilevante: i dati clinici sono spesso protetti e non sempre possono essere distribuiti liberamente, ma il codice può comunque rendere trasparente il percorso che porta dal dataset al risultato pubblicato. Non elimina le difficoltà di accesso ai dati, né consente da solo di replicare ogni analisi. Rende però valutabili le decisioni tecniche che hanno inciso sull’esito.
La disponibilità del codice permette anche di capire se un modello sia effettivamente trasferibile. Un sistema costruito in un contesto assistenziale può incontrare, altrove, nomenclature diverse, pratiche di documentazione non coincidenti, esami mancanti o una popolazione con caratteristiche cliniche differenti. Per verificare la generalizzabilità non basta conoscere il valore di una metrica riportata nell’articolo: servono procedure ripetibili e sufficientemente descritte per eseguire una validazione esterna.
Dalla presenza del repository alla possibilità di riuso
Lo studio evita una semplificazione frequente nel dibattito sulla scienza aperta: caricare file in un repository non equivale automaticamente a mettere altri ricercatori nelle condizioni di usarli. La valutazione su 14 aspetti mostra infatti pratiche molto variabili. Il nodo riguarda le informazioni che accompagnano il codice, la definizione delle dipendenze software e l’organizzazione necessaria a eseguire l’analisi.
Un repository privo di istruzioni chiare, senza l’indicazione delle librerie richieste o senza una struttura che renda riconoscibile la sequenza dei passaggi, può essere formalmente accessibile ma scarsamente operativo. Per un gruppo esterno, ricostruire l’ambiente di lavoro diventa allora un’attività lunga e incerta; per una struttura sanitaria interessata a testare un modello su dati locali, può trasformarsi in un ostacolo sostanziale.
Questo distingue la trasparenza documentale dalla riproducibilità effettiva. Le policy di riviste e finanziatori hanno contribuito a rendere più comuni le dichiarazioni sulla disponibilità di dati e codice, ma la nuova analisi suggerisce che il campo dei modelli clinici richiede aspettative più precise. Dire dove si trova un archivio è utile; indicare come avviarlo, con quali dipendenze e secondo quale flusso di esecuzione è ciò che rende il materiale verificabile.
Una variabilità che attraversa riviste e Paesi
La quota di condivisione non è uniforme. Gli autori rilevano differenze marcate in base alla rivista e al Paese. La fotografia non autorizza a trasformare il dato in una graduatoria della qualità della ricerca nazionale o editoriale: entrano in gioco discipline diverse, regole delle pubblicazioni, infrastrutture, vincoli istituzionali e sensibilità dei singoli gruppi. Segnala però che l’adozione di pratiche riproducibili non procede con la stessa velocità in tutto il settore.
Per l’industria della salute digitale e per chi valuta l’acquisto o l’adozione di software clinico, questa frammentazione ha implicazioni pratiche. I modelli predittivi vengono sempre più spesso proposti come supporto alla decisione diagnostica o prognostica. Se la ricerca a monte non consente un esame approfondito delle procedure analitiche, aumenta il lavoro necessario per accertare robustezza, limiti e comportamento del modello fuori dal laboratorio che lo ha creato.
Va inoltre separato il problema della riproducibilità da quello dell’autorizzazione clinica. Un codice ben documentato non dimostra da solo che un modello sia sicuro o appropriato per l’uso su pazienti. Restano indispensabili validazione esterna, valutazione del contesto d’impiego, supervisione clinica e, quando applicabili, i percorsi regolatori. Ma senza trasparenza sul processo analitico, anche queste verifiche partono da una base meno solida.
Il prossimo passaggio è rendere verificabile l’impegno dichiarato
La revisione è stata progettata per contribuire allo sviluppo di TRIPOD-Code, una linea guida dedicata alla disponibilità del codice e alla riproducibilità nella ricerca sui modelli di predizione. TRIPOD e TRIPOD+AI hanno già fornito un riferimento per migliorare completezza e chiarezza del reporting; l’estensione al software risponde a una lacuna emersa proprio con la diffusione di metodi computazionali più complessi.
Le indicazioni future potrebbero rendere più esplicito cosa debba accompagnare un repository: istruzioni di utilizzo, dipendenze dichiarate, una struttura eseguibile e informazioni sufficienti a distinguere il codice realmente usato nell’analisi da script parziali o sperimentali. Non si tratta necessariamente di imporre la pubblicazione indiscriminata di ogni componente. In ambito sanitario esistono vincoli legittimi di privacy, sicurezza, licenze e proprietà intellettuale. L’obiettivo è piuttosto stabilire criteri chiari per spiegare cosa è disponibile, cosa non può esserlo e in quale misura il lavoro possa essere controllato.
Il 12,2% rilevato dalla revisione descrive dunque un settore in cui la condivisione del codice è ancora l’eccezione, non la prassi. Per un campo che ambisce a incidere sulle decisioni cliniche, la distanza tra un risultato pubblicato e un risultato che altri possono esaminare non è un dettaglio operativo. È uno dei passaggi da cui dipendono la fiducia nel modello, la sua valutazione indipendente e la possibilità di portarlo in ospedale con basi più verificabili.
