I benchmark sono necessari: senza misure comuni sarebbe quasi impossibile confrontare modelli. Il problema nasce quando un punteggio viene trasformato in una classifica universale dell'intelligenza.
Ogni benchmark misura un compito
Domande accademiche, programmazione, matematica o ragionamento sono distribuzioni specifiche. Un modello eccellente in una prova può essere mediocre nel workflow che interessa a un'azienda.
Contaminazione
Se domande o soluzioni del benchmark entrano nei dati di addestramento, il risultato può sovrastimare la capacità di generalizzare. Evitare contaminazione diventa più difficile con dataset pubblici molto diffusi.
Ottimizzazione sul test
Quando una metrica diventa prestigiosa, sviluppatori e ricercatori iniziano inevitabilmente a ottimizzarla. È una versione della legge di Goodhart: una misura usata come obiettivo può perdere parte del valore come misura.
Differenze piccole
Uno scarto di pochi punti può non essere significativo rispetto a variabilità, prompt e condizioni di test. Classifiche molto precise possono dare un'impressione di certezza eccessiva.
Costo e latenza
Un modello leggermente migliore ma dieci volte più costoso può essere peggiore per un'applicazione concreta. Accuratezza, velocità e costo devono essere misurati insieme.
Valutazione interna
Il test migliore utilizza esempi rappresentativi del lavoro reale, con criteri chiari e casi difficili. I benchmark pubblici servono per restringere la scelta; quelli interni servono per decidere.
Un benchmark non mente. Siamo noi a farlo quando gli chiediamo di rispondere a una domanda diversa da quella per cui è stato costruito.
