Quando un'azienda dice di aver collegato un chatbot ai propri documenti, spesso sta utilizzando una forma di Retrieval-Augmented Generation, o RAG. La tecnica permette a un modello linguistico di recuperare informazioni da una base esterna e usarle come contesto per costruire la risposta.

RAG non è un nuovo addestramento

Nel fine-tuning i parametri del modello vengono modificati attraverso nuovi esempi. Nella RAG, invece, il modello resta sostanzialmente lo stesso: prima della risposta riceve frammenti di documenti trovati da un motore di ricerca o da un sistema vettoriale.

Questo rende più semplice aggiornare le informazioni. Se cambia una policy aziendale, si può sostituire il documento nella base senza dover riaddestrare il modello.

Come funziona la pipeline

Il processo tipico parte dall'indicizzazione. I documenti vengono divisi in segmenti, trasformati in rappresentazioni utili alla ricerca e memorizzati. Quando arriva una domanda, il sistema cerca i frammenti più pertinenti e li inserisce nel prompt inviato al modello.

La qualità dipende quindi da due sistemi distinti: il recupero deve trovare il materiale giusto e il modello deve interpretarlo correttamente.

Il problema del chunking

Dividere un documento in parti troppo piccole può spezzare il contesto; segmenti troppo grandi possono rendere la ricerca meno precisa. Titoli, sezioni e struttura del documento possono essere usati per creare porzioni più coerenti di una semplice divisione a numero fisso di caratteri.

Le citazioni sono importanti

Un sistema RAG dovrebbe mostrare, quando possibile, quali fonti ha utilizzato. Non solo per trasparenza: una citazione permette all'utente di verificare se il frammento recuperato sostiene davvero la risposta. Senza questa possibilità, una risposta ben scritta può sembrare più certa di quanto sia.

Quando la RAG fallisce

Può fallire perché il documento corretto non è stato indicizzato, perché la ricerca trova un frammento simile ma sbagliato o perché il modello ignora parte del contesto. Può anche essere vulnerabile a istruzioni malevole presenti nei documenti stessi, un problema collegato alla prompt injection.

RAG o database tradizionale?

Se la domanda richiede un dato preciso e strutturato, una query a database può essere più affidabile. La RAG è utile soprattutto quando le informazioni sono distribuite in testi, manuali e documenti. Molti sistemi migliori combinano entrambi gli approcci.

Come valutarla

Non basta chiedere al chatbot dieci domande e leggere se le risposte suonano bene. Serve un insieme di test con domande note, fonti attese e criteri separati per recupero e generazione. Solo così è possibile capire se l'errore nasce dal motore di ricerca o dal modello.

La RAG non rende un'AI onnisciente sui documenti. Le dà un modo per consultarli. La differenza sembra sottile, ma cambia completamente il modo in cui il sistema dovrebbe essere progettato e verificato.