OpenAI amplia i propri strumenti contro il materiale pedopornografico, indicato con l’acronimo CSAM, Child Sexual Abuse Material, intervenendo su due fronti: la moderazione delle immagini e l’uso di ChatGPT. La novità più immediata per gli utenti riguarda il chatbot, che mostrerà schermate di avviso davanti a prompt finalizzati ad accedere a contenuti che sessualizzano minori e applicherà una sospensione dell’account di 24 ore. In caso di comportamenti ripetuti, la misura può arrivare alla rimozione permanente dell’account.

ChatGPT già blocca il CSAM e le richieste direttamente connesse a questo tipo di materiale. Il nuovo sistema aggiunge però una risposta pensata come deterrente: non soltanto il rifiuto della richiesta, ma un messaggio esplicito, l’indicazione di risorse specialistiche per interrompere condotte dannose e un blocco temporaneo. È un cambiamento rilevante perché sposta parte della moderazione dal solo filtraggio del contenuto alla gestione dell’account che tenta di aggirare le regole.

Parallelamente, OpenAI ha presentato un classificatore di immagini destinato a rilevare il CSAM, comprese le immagini generate con strumenti di intelligenza artificiale. L’azienda lo renderà disponibile senza costi, via API, a un gruppo selezionato di organizzazioni e imprese. Non si tratta, quindi, di un prodotto aperto indistintamente a qualunque sviluppatore: l’accesso sarà veicolato attraverso partner e programmi dedicati.

Un sistema che aiuta a ordinare le segnalazioni

Il classificatore è progettato per riconoscere segnali visivi di abuso anche in immagini che non siano già presenti nei database conosciuti. Questo dettaglio distingue l’approccio dai sistemi basati esclusivamente sulla corrispondenza con impronte digitali di file già identificati dalle autorità o dalle piattaforme: il modello assegna un punteggio che serve a orientare la revisione umana dei contenuti sospetti.

OpenAI afferma di aver sviluppato lo strumento insieme al National Center for Missing and Exploited Children, NCMEC, organizzazione statunitense centrale nella ricezione e nel trattamento delle segnalazioni relative allo sfruttamento dei minori. Per l’accesso e la distribuzione del classificatore sta inoltre lavorando con Tech Coalition e ROOST.

Nei test iniziali condotti con alcuni partner, secondo i dati diffusi dalla società, il sistema ha prodotto il medesimo numero di rilevamenti di immagini abusive segnalando però il 48% di contenuti in meno. L’effetto dichiarato è una riduzione del carico per i moderatori, che devono esaminare materiale estremamente sensibile. OpenAI sostiene anche che le immagini segnalate dal classificatore abbiano una probabilità doppia di essere effettivamente abusive rispetto al precedente flusso di selezione.

Questi numeri descrivono test preliminari e non equivalgono a una valutazione indipendente su larga scala. Restano aperti aspetti essenziali per ogni tecnologia di questo tipo: l’accuratezza in contesti diversi, il rischio di errori, le procedure per le verifiche umane e il modo in cui le organizzazioni che lo adotteranno gestiranno i casi individuati. L’obiettivo operativo, tuttavia, è chiaro: ridurre la quantità di immagini da sottoporre a revisione senza perdere capacità di intercettare contenuti illegali.

ChatGPT introduce l’avviso prima della recidiva

La parte rivolta a ChatGPT nasce dalla constatazione che le regole di utilizzo, da sole, non risolvono ogni tentativo di accesso o produzione di contenuti dannosi. Davanti a determinate richieste, il servizio mostrerà un alert e indirizzerà l’utente verso supporto specializzato. Alla segnalazione si accompagna la sospensione per 24 ore, definita da OpenAI come un avvertimento; in presenza di violazioni reiterate, l’account potrà essere eliminato.

La formulazione dei messaggi e delle linee guida è stata sviluppata con organizzazioni e ricercatori che lavorano sul tema. OpenAI cita Protect Children, la Lucy Faithfull Foundation e Joel Scanlan dell’University of Tasmania, che ha valutato in modo indipendente una sperimentazione sui messaggi di deterrenza. L’azienda non ha fornito, nell’annuncio, dati sull’efficacia dei nuovi avvisi una volta estesi agli utenti di ChatGPT, né ha dettagliato tutte le soglie che distinguono un tentativo occasionale dalla recidiva.

Questa cautela è importante anche per un motivo pratico: la moderazione dei servizi generativi deve distinguere tra richieste illecite, tentativi di elusione, richieste formulate in modo ambiguo e conversazioni in cui il tema viene trattato in chiave informativa o di tutela. OpenAI presenta il nuovo percorso come uno strumento rivolto ai comportamenti che cercano materiale sessualizzato con minori, non come un blocco indiscriminato delle discussioni sul fenomeno.

Regole per gli sviluppatori e supporto alle indagini

L’iniziativa non si limita ai prodotti di OpenAI. La società ha pubblicato nuove indicazioni per gli sviluppatori che usano i suoi strumenti, con l’obiettivo di aiutarli a prevenire, rilevare e consentire la segnalazione del CSAM nei propri servizi. Nei primi test, OpenAI riferisce che tali linee guida hanno portato alcuni sviluppatori ad adottare strumenti per la sicurezza dei minori e a registrarsi per trasmettere segnalazioni a NCMEC.

Un altro tassello riguarda le forze dell’ordine che trattano casi di tutela dei minori. OpenAI prevede funzionalità basate sui propri modelli, tra cui plug-in dedicati, strumenti investigativi e capacità di analisi di dati complessi. L’accesso sarà gestito dagli amministratori del programma. L’azienda fornirà inoltre formazione agli investigatori e una guida operativa sull’uso dell’intelligenza artificiale nelle attività sul campo.

Non vengono indicate nel dettaglio né le amministrazioni coinvolte né i Paesi interessati, e l’annuncio non chiarisce quali dati possano essere trattati attraverso questi strumenti. Il perimetro è significativo: applicare modelli generativi o di analisi a indagini che coinvolgono minori richiede controlli rigorosi, supervisione umana e procedure compatibili con le norme su prove, privacy e protezione delle vittime.

Pressione crescente sui fornitori di IA generativa

La mossa arriva in una fase in cui la sicurezza dei minori è diventata uno dei punti più sensibili per le aziende che offrono chatbot e generatori di immagini. OpenAI è stata oggetto di cause che attribuiscono alla sua tecnologia danni agli utenti, in particolare ai più giovani. Common Sense Media ha classificato la tecnologia della società come un rischio non accettabile per gli adolescenti.

Il problema non riguarda una sola piattaforma. Negli ultimi mesi, altri chatbot, tra cui Grok, sono stati associati alla creazione di immagini sessualizzate senza consenso, anche riguardanti minori. Per i fornitori di modelli generativi, il tema non è soltanto impedire la generazione diretta di un contenuto vietato: occorre presidiare prompt, immagini caricate, applicazioni costruite sulle API e meccanismi di segnalazione.

OpenAI aveva già introdotto nell’ultimo anno un piano sulla sicurezza, aggiornato le proprie regole sui contenuti, modificato il comportamento dei modelli per ostacolare produzioni dannose e lanciato una versione di ChatGPT destinata agli adolescenti. Il nuovo pacchetto aggiunge strumenti specifici per il CSAM e lega più strettamente moderazione, supporto agli sviluppatori e collaborazione con soggetti esterni.

Per gli utenti, la conseguenza più visibile sarà il nuovo avviso con blocco di 24 ore in ChatGPT. Per piattaforme e organizzazioni che gestiscono grandi volumi di immagini, il classificatore potrebbe diventare un supporto per rendere più mirata la revisione. La sua efficacia concreta dipenderà però dall’adozione, dalle verifiche indipendenti sui risultati e dalla capacità di integrare queste tecnologie in procedure di tutela che non lascino alle macchine l’ultima decisione sui casi più delicati.

Fonti