Le aziende tecnologiche stanno affrontando una fase delicata: da una parte le cause che contestano il presunto impatto dei loro prodotti sulla salute mentale e sulla sicurezza degli adolescenti, dall’altra la corsa a portare strumenti di intelligenza artificiale nelle scuole. Sono due traiettorie che fino a poco tempo fa potevano sembrare separate, ma ora si incontrano nello stesso punto: la responsabilità di progettare servizi destinati, direttamente o indirettamente, anche ai minori.
Negli Stati Uniti, Snap ha raggiunto un accordo riservato con due giovani che avevano intentato una causa sostenendo di aver subito gravi conseguenze psicologiche legate all’uso della piattaforma. L’intesa è arrivata poco prima dell’avvio previsto del processo a Los Angeles e ha evitato la testimonianza in aula dell’amministratore delegato Evan Spiegel. Nella stessa vertenza, Meta, TikTok e YouTube avevano già chiuso le rispettive posizioni con accordi con gli attori.
Un patteggiamento o una transazione non equivalgono a un’ammissione di responsabilità, e Snap ha detto che le parti hanno risolto la vicenda in modo amichevole. Tuttavia, la sequenza di accordi e procedimenti giudiziari segnala un problema che non può più essere liquidato come una singola controversia. Le piattaforme sono chiamate a rispondere non soltanto della moderazione dei contenuti, ma anche di meccaniche di prodotto, raccomandazioni, notifiche e modalità di interazione pensate per trattenere l’utente.
La pressione legale investe il modello di prodotto
Le azioni legali sulla sicurezza degli adolescenti si sono moltiplicate dopo anni di dibattito pubblico sull’uso intensivo dei social, sull’esposizione a contenuti dannosi e sulla capacità delle piattaforme di intercettare situazioni di fragilità. Il nodo più difficile, in tribunale come nel dibattito regolatorio, è stabilire il rapporto tra le funzionalità di un servizio e i danni denunciati dagli utenti o dalle loro famiglie. Le società difendono le misure di protezione introdotte negli anni; chi promuove le cause sostiene invece che siano intervenute troppo tardi o che non incidano sulle logiche alla base dell’esperienza.
Per le aziende, il rischio non è limitato a eventuali risarcimenti. I processi rendono pubblici documenti interni, decisioni di design e valutazioni sul comportamento degli utenti. È un’esposizione reputazionale rilevante per gruppi che dipendono dalla fiducia di famiglie, inserzionisti, scuole e autorità pubbliche. Secondo Joseph McNally, responsabile dell’emerging litigation presso McNicholas McNicholas ed ex procuratore ad interim del Central District of California, gli accordi vanno letti anche nel tentativo di superare una stagione di contenziosi che ha colpito l’immagine dei prodotti e delle aziende coinvolte.
La partita non è chiusa. Altri processi connessi alle contestazioni sui danni personali attribuiti ai social sono attesi da marzo. Il precedente clima giudiziario pesa quindi sulle decisioni che le piattaforme stanno prendendo oggi, compresa l’adozione di nuove funzioni basate su modelli generativi.
Gemini in Google Classroom porta il tema dentro le scuole
La nuova frontiera è l’AI conversazionale. Questa settimana Google è stata citata in giudizio dai genitori di un minore che, secondo l’accusa, avrebbe attraversato una crisi psicologica dopo aver interagito con Gemini attraverso Google Classroom. Si tratta di allegazioni che dovranno essere esaminate nel procedimento e non di fatti accertati. Ma il caso mette in evidenza una differenza sostanziale rispetto ai social tradizionali: un chatbot collocato in un ambiente scolastico può apparire agli studenti come uno strumento affidabile, legittimato dall’istituzione e disponibile durante attività didattiche.
Google Classroom è già parte dell’infrastruttura quotidiana di molte scuole. L’integrazione di un assistente generativo può offrire supporto nello studio, nella scrittura e nella preparazione delle lezioni, ma estende anche la superficie di rischio. Un sistema capace di produrre risposte aperte e contestuali deve essere valutato non solo per accuratezza e privacy, ma per come riconosce richieste sensibili, gestisce conversazioni su disagio personale e indirizza un utente giovane verso risorse appropriate.
Il problema non riguarda unicamente la qualità di una risposta errata. Nei servizi conversazionali contano il tono, la continuità dello scambio e la tendenza dell’utente ad attribuire al sistema una forma di autorevolezza o vicinanza. Un adolescente in difficoltà può usare il chatbot in modi non previsti dal progetto originario. Per questo le misure di sicurezza non possono fermarsi a filtri generici o avvisi visualizzati all’accesso: devono tenere conto dell’età, del contesto d’uso e dei limiti di ciò che un modello può fare in una situazione potenzialmente critica.
Dalla correzione dopo il danno alla progettazione preventiva
Kate Blocker, psicologa dello sviluppo e responsabile della ricerca e dei programmi dell’organizzazione non profit Children and Screens, richiama la necessità di cambiamenti più strutturali nella progettazione dei prodotti usati dai bambini. Il principio è semplice, anche se difficile da applicare: la sicurezza dovrebbe essere una condizione iniziale del design, non un intervento aggiunto dopo l’emergere di casi problematici.
Nell’AI per l’istruzione questa impostazione richiede scelte concrete. Significa delimitare le funzioni accessibili agli studenti più giovani, rendere chiaro quando la risposta è generata automaticamente, predisporre protocolli specifici per le conversazioni che segnalano pericolo o sofferenza e offrire agli educatori strumenti reali di controllo. Significa anche evitare che la ricerca di utilizzo e diffusione diventi l’unica metrica per valutare un prodotto introdotto nelle classi.
Le imprese del settore stanno investendo cifre enormi nei modelli generativi e cercano casi d’uso che ne dimostrino l’utilità su larga scala. La scuola è un mercato strategico: concentra utenti, istituzioni e flussi di lavoro digitali già consolidati. Proprio per questo, però, non può essere trattata come un normale ambiente di test o come un’estensione del mercato consumer. Gli studenti non hanno lo stesso grado di autonomia, consapevolezza e capacità di valutazione di un adulto, mentre docenti e dirigenti scolastici devono poter capire quali dati vengono trattati, quali limiti ha il sistema e che cosa accade quando l’AI intercetta un’interazione a rischio.
Le cause contro i social non dimostrano automaticamente che ogni prodotto di AI scolastica sia pericoloso, né la denuncia contro Google stabilisce da sola una regola generale sui chatbot. Indicano però che il margine di tolleranza di famiglie, tribunali e opinione pubblica si sta restringendo. Per le aziende che vogliono entrare nelle aule, la promessa di efficienza o personalizzazione non basterà: dovranno dimostrare che le tutele per i minori sono verificabili, comprensibili e incorporate nel prodotto.
Nei prossimi mesi l’evoluzione dei procedimenti giudiziari offrirà indicazioni importanti su come i tribunali valuteranno la responsabilità delle piattaforme. Nel frattempo, la spinta commerciale verso l’AI nell’istruzione continuerà a scontrarsi con una domanda sempre più concreta: quali obblighi deve assumersi chi progetta strumenti capaci di influenzare l’esperienza digitale, e talvolta emotiva, degli studenti?
