Apple ha riscritto alcuni passaggi delle App Review Guidelines per colpire con maggiore precisione le applicazioni che sfruttano l’intelligenza artificiale per produrre immagini intime di persone senza il loro consenso. L’aggiornamento riguarda le cosiddette app “nudify”, software capaci di alterare fotografie reali simulando nudità o contenuti sessualizzati, ma amplia anche gli strumenti con cui Cupertino può intervenire contro le app che nascondono funzionalità problematiche fino a dopo l’approvazione nello store.
La modifica non introduce un divieto dal nulla: le norme dell’App Store già consentivano di rifiutare o rimuovere contenuti dannosi. Apple ha però scelto di nominare espressamente le immagini intime non consensuali fra i rischi che le piattaforme con contenuti generati dagli utenti devono gestire. Una formulazione più diretta, che rende meno ambiguo ciò che viene richiesto agli sviluppatori e quale condotta può esporli a sanzioni.
Per le app coinvolte non basterà più una moderazione soltanto reattiva. Le linee guida stabiliscono che chi sviluppa servizi nei quali gli utenti possono creare, caricare o diffondere materiale deve adottare misure preventive adeguate e intervenire sulle violazioni individuate. Il mancato inserimento di protezioni sufficienti, oppure il mancato rimedio dopo una segnalazione, può essere valutato come una violazione del Developer Code of Conduct.
È un passaggio rilevante perché sposta il tema dal singolo contenuto rimosso alla progettazione del prodotto. Se un’app offre strumenti che rendono prevedibile la creazione di deepfake sessualizzati senza consenso, Apple può valutare non solo la risposta a posteriori, ma l’efficacia delle barriere predisposte dal developer: filtri, procedure di segnalazione, controlli e interventi sulle funzioni che consentono l’abuso.
Dalle polemiche su Grok a una regola più esplicita
La revisione arriva dopo mesi di pressioni sull’azienda. A inizio anno, utenti di X avevano usato Grok per generare immagini sessualizzate non consensuali di donne e minori. L’episodio aveva alimentato le richieste di parlamentari e associazioni affinché Apple intervenisse su X e sul chatbot di xAI, disponibili attraverso l’App Store.
Apple non ha rimosso X né Grok dal proprio negozio digitale. In seguito, però, ha confermato ai senatori statunitensi di avere avvertito privatamente xAI che Grok avrebbe potuto essere escluso dall’App Store se il problema non fosse stato affrontato. Durante la WWDC di giugno, manifestanti hanno inoltre chiesto ad Apple di rimuovere X, Grok e le tecnologie di nudificazione dallo store.
Il dibattito non riguarda unicamente le grandi piattaforme. A gennaio il Tech Transparency Project aveva individuato decine di app AI riconducibili a questo filone nell’App Store; una successiva indagine, ad aprile, aveva segnalato che suggerimenti di ricerca e inserzioni dello store potevano indirizzare gli utenti verso applicazioni simili. A luglio, le autorità di San Francisco hanno ordinato ad Apple la rimozione di app in grado di generare immagini intime non consensuali. Apple ha dichiarato di avere eseguito la rimozione delle applicazioni indicate.
Il problema, dunque, non è la sola disponibilità di un generatore esterno accessibile dal web. L’App Store esercita una funzione di distribuzione, scoperta e fiducia: un’app pubblicata nello store può raggiungere facilmente utenti comuni, anche giovani, e presentarsi con l’apparenza di un servizio legittimo. Le nuove linee guida rendono più netto il confine tra strumenti creativi consentiti e prodotti che facilitano un abuso della somiglianza altrui.
Il nodo delle funzioni che compaiono dopo la revisione
L’altro versante dell’aggiornamento riguarda le app che si comportano in modo diverso da quanto dichiarato ad Apple. Cupertino ha introdotto una sezione specifica, la 2.5.19, per vietare funzioni nascoste, inattive o non documentate. L’app deve rendere chiare le proprie capacità sia agli utenti sia al team App Review; tentare di celare codice o funzioni attraverso l’offuscamento del software o altri metodi può portare alla rimozione dall’App Store e alla chiusura dell’account sviluppatore.
La precisazione colpisce il modello del “bait-and-switch”: un’app viene sottoposta a revisione con un set di funzioni apparentemente innocuo e, una volta superato il controllo, abilita strumenti diversi o pericolosi. Apple cita espressamente la nudificazione fra gli esempi di capacità dannose che possono emergere dopo l’approvazione.
Il divieto di funzionalità non dichiarate esisteva già nelle policy, ma la nuova formulazione specifica sia le tecniche di occultamento sia le conseguenze possibili. È una distinzione importante per i servizi che affidano parte delle proprie funzioni a server remoti o aggiornano il comportamento dell’app senza distribuire una nuova versione: la revisione iniziale del binario, da sola, non è sempre sufficiente a intercettare cambiamenti successivi.
La questione era emersa anche in un contesto diverso. Un’indagine di 9to5Mac aveva documentato app che si presentavano come giochi o utility, ma che in Brasile potevano mostrare piattaforme di scommesse attraverso comportamenti legati all’indirizzo IP dell’utente. Gli esempi differiscono per contenuto e finalità, ma indicano lo stesso limite dei controlli tradizionali: un’app può mostrare un volto all’esame iniziale e un altro in condizioni geografiche o operative differenti.
Le sanzioni e il limite delle nuove policy
Apple ha anche rafforzato il linguaggio dedicato alle applicazioni che favoriscono la tratta di esseri umani o lo sfruttamento dei minori. Queste saranno rimosse dall’App Store e bloccate dalla distribuzione alternativa. Il riferimento alla distribuzione alternativa assume peso nell’ecosistema europeo, dove le regole introdotte dal Digital Markets Act hanno aperto, in determinate condizioni, a marketplace alternativi e alla distribuzione dal web.
Le regole aggiornate offrono quindi una base più ampia per intervenire, ma non risolvono automaticamente il problema. Stabilire se un’app abbia protezioni “appropriate” richiede valutazioni sul funzionamento concreto dei modelli, sulle modalità di caricamento delle immagini, sulle misure contro l’aggiramento dei filtri e sulla velocità di risposta alle segnalazioni. Inoltre, i servizi generativi possono mutare rapidamente attraverso aggiornamenti dei modelli e delle infrastrutture cloud.
Resta aperta anche la questione dell’applicazione uniforme. Le linee guida possono rendere più semplice il rifiuto di una nuova app o la contestazione a uno sviluppatore, ma la loro efficacia dipenderà dalla capacità di individuare prodotti che cambiano comportamento dopo l’ingresso nello store e di agire senza attendere che l’abuso diventi un caso pubblico. I precedenti degli ultimi mesi mostrano perché Apple abbia scelto di esplicitare le proprie aspettative: l’assenza di una formula chiara lascia spazio a interpretazioni, mentre per le vittime il danno può avvenire e diffondersi in pochi minuti.
Per gli sviluppatori che lavorano con strumenti di generazione o manipolazione delle immagini, l’aggiornamento è un avvertimento operativo. Non è sufficiente dichiarare che l’uso illecito è vietato nei termini di servizio: Apple chiede salvaguardie effettive e la correzione delle violazioni segnalate. Per gli utenti, la novità non equivale a una garanzia assoluta che nessuna app abusiva possa arrivare sull’iPhone, ma aumenta la responsabilità richiesta ai servizi che ospitano o producono contenuti e rafforza i presupposti per la loro rimozione.
