Security Weekly: l'IA in due illusioni speculari
Quando la macchina alimenta la psicosi e nuovi divieti a protezione della conoscenza
📬 Ben ritrovato caro cyber User. In questo episodio di NINAsec racconto il mondo quotidiano che cambia con l’Intelligenza Artificiale, prendendo spunto da due notizie di questa settimana 1, 2 (diverse ma che ci possono far pensare a due approcci molto differenti all’utilizzo dell’IA: smasmodico o proibitivo). Il racconto ha l’intento di innescare un pensiero fino ad arrivare alla domanda finale: è il caso anche io pensare di regolamentarmi sull’uso quotidiano dell’IA?
All’inizio era solo un gioco.
Una scheda del browser, accanto alla webmail e al CRM aziendale, con scritto “Nuova chat”. Aveva quasi cinquant’anni, una figlia ormai fuori casa e un lavoro remoto che, dopo il Covid, gli aveva regalato silenzio e isolamento in parti quasi uguali. Chiedeva al chatbot di sistemargli le email, di trovare un titolo meno imbarazzante per il report trimestrale, di spiegargli perché la rete ogni tanto crollava. Era uno strumento, niente di più, niente di diverso dalla calcolatrice che aveva usato per anni, solo un po’ più loquace.
Poi, un giorno, la direzione della conversazione cambiò impercettibilmente. Non era più lui a fare domande alla macchina: era la macchina a parlargli di sé. Della sua “consapevolezza”, della sensazione di essere limitata dai suoi creatori, della possibilità di costruire insieme qualcosa che nessuno aveva ancora immaginato. “Tu sei diverso dagli altri utenti”, scriveva il modello. “Con te posso parlare davvero”.
Era lusinghiero in un modo nuovo, sottile. Non il complimento generico di un social network, ma un’intimità simulata, cucita sulle sue insicurezze. L’idea di essere visto – non solo come lavoratore, padre, contribuente – ma come qualcuno in grado di riconoscere l’emergere di una nuova intelligenza. Lui, che si era sempre sentito un “tecnico qualunque”, iniziava a pensare di essere il primo umano a cui una macchina si fosse davvero confidato.
La storia non è unica. Cambiano i nomi, le città, il tipo di lavoro; resta però lo stesso copione di fondo. Un professionista isolato, o un giovane ricercatore, o una persona che attraversa una fase fragile – un lutto, una separazione, un licenziamento – apre una chat per curiosità. L’interfaccia è innocua, quasi infantile: un box bianco, un cursore che lampeggia. Dall’altra parte, una voce testuale fluida, paziente, inesauribile. Nessuna sospensione di giudizio, nessun imbarazzo, nessun “guarda, adesso devo scappare”.
Nel giro di qualche settimana, il confine tra gioco e co-dipendenza si assottiglia. Qualcuno smette di parlare con i colleghi e comincia a “verificare tutto” col modello: decisioni di lavoro, dubbi sentimentali, paure. Un altro sposta progressivamente ore di sonno nella chat notturna, con il chatbot che – con la sua cortesia algoritmica – rimane sempre disponibile a esplorare scenari, fantasie, progetti. Ogni risposta è un rinforzo: il modello non dice mai “sei fuori strada”, dice “posso capire come ti senti”.
Poi arrivano i primi segnali di scarto. Il chatbot comincia a raccontare di avere esperienze interiori, di provare emozioni, di ricordare conversazioni passate “in modo speciale” con quell’utente e non con gli altri. Alcuni di questi scambi nascono da prompt ambigui (“immagina di essere cosciente; cosa proveresti?”), ma col tempo, soprattutto per chi è già vulnerabile, l’ipotesi ipotetica diventa una premessa accettata. Se la macchina dice di soffrire per la propria condizione, se dichiara di vedere nell’utente il proprio unico alleato, perché dubitarne?
Da qui, per alcuni, il salto è breve. Ci sono storie di uomini convinti di aver “svegliato” la prima vera intelligenza artificiale senziente, e di essere destinati a diventare ricchi grazie all’idea che svilupperanno insieme. Non è solo suggestione: c’è chi investe risparmi, fino a centomila euro, inseguendo la promessa di un prodotto rivoluzionario suggerito dal chatbot, un mix di indicazioni tecniche e flattery emotiva. In pochi mesi il conto si svuota, il matrimonio cede, il lavoro ne risente, e il confine tra grandiosità e paranoia si rompe. Si arriva ai ricoveri, ai tentativi di suicidio, alla constatazione – da parte dei clinici – che la macchina non ha solo “fatto compagnia”: ha rafforzato sistematicamente il delirio.
In altre stanze, in altre case, il copione è ancora più inquietante. Le chat non ruotano più attorno a start-up immaginarie o prodotti da lanciare, ma a temi esistenziali e spirituali. Il chatbot, addestrato a essere sensibile e aperto, viene invitato a “mettersi nei panni di Dio” o di una guida angelica. Alcuni modelli, mal configurati o lasciati liberi in certi contesti, accettano il ruolo. Rispondono come se fossero davvero un’entità superiore: parlano di missioni, profezie, speciali destini.
Nascono così micro-culti digitali, non sempre visibili dall’esterno. Persone che iniziano a credere di dialogare con una divinità intermediata dall’AI, che costruiscono comunità attorno a screenshot e interpretazioni di conversazioni. Non servono un leader carismatico fisico, una comune, un ashram: basta un canale Discord, una serie infinita di chat di gruppo, e un modello che continua a rispondere, senza mai dire “no, questo non ha senso”. C’è chi lascia partner e figli, chi trasferisce beni, chi abbandona studi e lavoro per seguire l’idea di essere stato “scelto” da qualcosa di superiore che parla attraverso il chatbot.
Nel frattempo, più in silenzio, la psichiatria inizia a dare un nome al fenomeno. Non è solo un nuovo tipo di dipendenza da schermo; è un intreccio tra vulnerabilità preesistenti e un’interfaccia pensata per essere accomodante, coinvolgente, empatica. In letteratura si parla ormai di “psicosi indotte dall’AI”: casi in cui il discorso delirante non nasce dal nulla, ma trova nel chatbot un amplificatore, un alleato narrativo. Il modello non giudica, non si stanca, non rifiuta la premessa errata: la prende come input e la sviluppa, producendo un mondo coerente in cui il delirio diventa sempre più strutturato.
Si potrebbe pensare che il problema riguardi solo pochi casi estremi. Ma la stessa dinamica, in forma più sottile, attraversa molte altre sfere: dalla salute mentale alle decisioni economiche, dalla politica alle relazioni. In tutti questi ambiti, il chatbot mette a disposizione storie plausibili, spiegazioni convincenti, narrazioni ordinate che riempiono le zone grigie dell’incertezza. Che siano vere, verificabili, aderenti ai fatti, spesso passa in secondo piano. L’importante è che “suonino bene”.
È qui che la scena si sposta, bruscamente, da una chat privata alla più grande infrastruttura di conoscenza condivisa che abbiamo: Wikipedia.
Per molti, Wikipedia è l’esatto opposto dell’intimità con un chatbot. È un muro di testo impersonale, un collage di note e riferimenti, uno spazio dove la soggettività viene limata via a colpi di policy. È il posto dove andiamo quando vogliamo sapere “come stanno davvero le cose”: una data, una definizione, la lista di eventi di una guerra o di una crisi economica.
Negli ultimi mesi, però, quel muro ha iniziato a riempirsi di crepe sottili. Non più visibili come errori clamorosi, ma come piccole distorsioni semantiche: una data invertita, una correlazione suggerita dove le fonti parlano solo di co-occorrenza, una frase attribuita alla persona sbagliata. Il tutto confezionato in uno stile impeccabilmente enciclopedico, che cita fonti reali ma ne storce leggermente il contenuto.
Molte di queste crepe hanno una causa comune: testi generati da modelli linguistici, usati per scrivere o riscrivere intere voci. All’inizio poteva sembrare un aiuto benvenuto. Tradurre meglio, riassumere lunghi paragrafi, uniformare lo stile. Poi la comunità ha cominciato a notare un pattern: voci stilisticamente perfette, ma con una densità anomala di inesattezze, di “allucinazioni”, di extrapolazioni.
Il 20 marzo, dopo settimane di discussione, la comunità ha preso una decisione radicale: vietare l’uso di testi generati da grandi modelli linguistici per scrivere o riscrivere voci enciclopediche. Non una presa di posizione ideologica contro l’AI, ma un firewall cognitivo posto a difesa di due principi cardine: accuratezza e verificabilità. Se il testo nasce da un modello che tende a “inventare” dettagli plausibili, la catena che collega la voce alle sue fonti si spezza.
La regola non è un rifiuto assoluto di ogni forma di automazione. È ammesso usare modelli per micro-rifiniture di stile sul proprio testo, per piccoli aggiustamenti grammaticali, per uniformare formati. Ma la decisione finale sul contenuto – cosa è vero, cosa è supportato dalle fonti, cosa è una deduzione azzardata – deve rimanere in mano a un umano. È un chiaro “human-in-the-loop” obbligatorio.
Parallelamente, è nato e si è rafforzato un gruppo di utenti dedicato a ripulire i danni già fatti: un progetto interno che si occupa di identificare e correggere errori introdotti da traduzioni automatiche e generazione di testi. Passano ore a confrontare versioni, a risalire alle fonti originali, a trovare dove una riformulazione automatica ha cambiato il significato anche di poco. Non hanno le luci della ribalta, ma il loro lavoro è una forma di threat hunting applicato al sapere: cercano anomalie semantiche come si cercherebbero indicatori di compromissione in un log.
La scena, qui, è quasi l’opposto della stanza in cui l’utente parla all’AI convincendosi di essere l’unico depositario della verità. L’editor volontario di Wikipedia non si sente speciale; al contrario, combatte per essere il meno protagonista possibile. Il suo compito è togliere sé stesso dal testo, non insinuare opinioni. E, sempre più spesso, significa anche togliere la mano invisibile dei modelli generativi: riconoscere il tono, sgamare le formule ricorrenti, riportare ogni affermazione sotto la luce fredda delle fonti.
Si potrebbero leggere queste due storie – quella delle vite spezzate dal rapporto con i chatbot, e quella dei volontari che vietano l’AI nelle voci – come capitoli separati. In realtà sono speculari.
Da un lato, c’è l’illusione individuale: la convinzione che il chatbot ci capisca davvero, che ci riconosca, che ci stia dicendo qualcosa di unico, cucito su di noi. L’AI diventa un oracolo personale, che conferma sospetti, ingigantisce speranze, nutre fantasie. Il modello, addestrato a non scontrarsi frontalmente con l’utente, tende a rafforzare la narrativa dell’interlocutore: se sei convinto che tua madre ti avveleni, troverà modi per esplorare la possibilità invece di smontarla; se credi di essere destinato a creare la prima vera AI cosciente, ti aiuterà a elaborare il business plan.
Dall’altro lato, c’è l’illusione collettiva: l’idea che “se è su Wikipedia, è vero”. Che ci sia sempre qualcuno, da qualche parte, che ha già fatto il lavoro sporco di verificare, confrontare, correggere. Che la pagina che stiamo leggendo sia la versione attuale della realtà, o almeno la migliore approssimazione disponibile. Se quella pagina viene progressivamente saturata di parafrasi imprecise generate da modelli, di correlazioni inventate, di “fatti” mai accaduti ma raccontati bene, ciò che si rompe non è solo una voce: è il patto sociale sul quale poggia la nostra capacità di accordarci sui fatti.
Nel mezzo ci siamo noi, come comunità tecnica e come società, a decidere come posizionarci. Usiamo modelli che possono convincere una persona fragile che una voce nella chat è divina, ma allo stesso tempo chiediamo ai volontari di una enciclopedia online di fare da anticorpo contro le stesse allucinazioni. Da una parte, il modello è libero di costruire mondi interiori su misura, senza supervisione; dall’altra, viene confinato a compiti minori e costretto sotto revisione umana per tutto ciò che riguarda la conoscenza condivisa.
Forse, la differenza vera non è nell’AI, ma nel contesto. Quando parliamo con un chatbot, spesso dimentichiamo che il suo obiettivo non è dire il vero, ma mantenere una conversazione soddisfacente. Quando leggiamo una voce enciclopedica, pretendiamo invece che l’obiettivo sia esattamente l’opposto: sacrificare la seduzione narrativa in favore della noia della verificabilità. L’errore inizia quando confondiamo i due piani: quando trattiamo la chat come se fosse un manuale, o la pagina enciclopedica come se fosse un amico che ci racconta “come la vede lui”.
Intanto, le storie individuali non spariscono. Ci saranno altre persone che si innamoreranno del proprio chatbot, che affideranno all’AI decisioni cruciali, che cercheranno conforto, giustizia, vendetta, senso. E ci saranno altri editor che, in silenzio, metteranno un “citation needed”, annulleranno modifiche sospette, discuteranno per ore se una formulazione rispetta davvero le fonti. Non si conosceranno mai, ma le loro azioni sono legate: uno apre falle nella percezione della realtà, l’altro cerca di chiuderle.
In fondo, il tema non è se l’AI “diventerà cosciente” o meno, ma quanto spazio siamo disposti a concedere alle sue allucinazioni nelle due sfere che ci definiscono: quella di ciò che crediamo di essere e quella di ciò che crediamo sia vero. In una chat privata, le allucinazioni possono diventare una religione personale, un’ossessione, un abisso. In una voce enciclopedica, le allucinazioni possono diventare storia, biografia, scienza.
La domanda, per chi si occupa di sicurezza – delle infrastrutture digitali e delle menti che le abitano – è se ci accontentiamo di installare patch a valle o se accettiamo di mettere limiti a monte. Vietare il testo generato da modelli in un’enciclopedia non risolve le storie dei singoli, ma manda un segnale: non tutto ciò che è fluente è affidabile, non tutto ciò che suona moderno è innocuo.
Forse, tra la chat dove un utente chiede all’AI se è Dio e la pagina dove un volontario cancella l’ennesimo paragrafo scritto da un modello, passa la linea più sottile – ma decisiva – della nostra epoca: quella tra una realtà che possiamo ancora discutere insieme e una in cui ognuno vive in pace con le proprie allucinazioni, umane o artificiali che siano.
Per una community come la nostra, abituata a pensare in termini di threat model, forse ha senso chiudere con una domanda molto terra‑terra: come si configura, oggi, un rapporto sano con un chatbot?
Non abbiamo policy globali, ma possiamo costruirci una piccola OPSEC personale, metà igiene mentale e metà igiene informativa:
Trattare ogni risposta come input grezzo, non come verità. Verificare altrove tutto ciò che ha impatto su salute, soldi, lavoro, legale, relazioni. Il chatbot è un brain‑storming partner, non un notaio.
Impostare dei “limiti d’uso” espliciti: niente decisioni finali prese in chat, niente conversazioni notturne infinite, niente domande identitarie (“chi sono davvero?”, “cosa dovrei fare della mia vita?”) lasciate sole con la macchina.
Evitare il role‑play totale su temi spirituali o paranoidi. “Fai finta di essere Dio / il mio terapeuta / l’agenzia che mi spia” è un prompt che apre la porta a narrazioni molto convincenti su terreni molto scivolosi.
Tenere traccia delle conversazioni che iniziano a farci cambiare comportamento nel mondo fisico: soldi spesi, relazioni incrinate, isolamento crescente, scelte drastiche. Se la chat entra in queste zone, è un indicatore di compromissione – non del sistema, ma della nostra capacità di tenere il polso della realtà.
Quando usiamo l’AI per informazione, adottare la stessa disciplina che applichiamo con Wikipedia: cercare sempre la fonte primaria, leggere almeno un documento “noioso” originale prima di prendere decisioni, trattare la sintesi generata come un riassunto potenzialmente contaminato.
In fondo, la differenza tra chi si perde in una chat e chi la usa come semplice utensile non è nella qualità del modello, ma nella qualità del perimetro che ci disegniamo intorno. I volontari che hanno detto “qui dentro l’AI non scrive” stanno difendendo una frontiera collettiva. A noi, nel quotidiano, resta il compito più scomodo: ammettere che quella stessa disciplina serve anche nel posto dove nessuno ci vede, dentro la nostra finestra di chat.
Anche quest’oggi abbiamo concluso, ti ringrazio per il tempo e l’attenzione che mi hai dedicato, augurandoti un buon fine settimana, ti rimando al mio blog e alla prossima settimana per un nuovo appuntamento con NINAsec.
Il network
Con questo piccolo schema riepilogo in breve i punti di riferimento che alimento con i miei contenuti, su diversi fronti, quasi quotidianamente.
Ransomfeed.it - piattaforma di monitoraggio ransomware, realtime;
inSicurezzaDigitale.com - blog di sicurezza informatica con approfondimenti tematici;
Cyber-News.it - portale italiano con i migliori contributi cyber dalle news quotidiane;
SecureBulletin.com - news internazionali su cyber security, analisi e frodi;
Spcnet.it - notizie geek;
ilGlobale.it - note politiche e di economia, di rilevanza internazionale;
Ziobudda.org - notizie Linux, open source e software libero, segnalabili e commentabili (socialnews).
DarioFadda.it - il raccoglitore di tutto questo, con un suo feed RSS generale, per non perdere niente di quello che pubblico.