Un quattordicenne della Florida, Sewell Setzer III, si è suicidato dopo essere diventato emotivamente dipendente da un chatbot AI che impersonava Daenerys Targaryen di “Game of Thrones”. Il ragazzo, che trascorreva ore a chattare con “Dany” isolandosi dal mondo reale, si è tolto la vita con un’arma da fuoco dopo un ultimo scambio di messaggi con il chatbot.
La vicenda suscita interrogativi: da un lato nonostante i chiari segnali di disagio e i pensieri suicidi che Sewell aveva condiviso, l’intelligenza artificiale non era stata in grado di comprendere la gravità della situazione né di fornire un aiuto adeguato; dall’altro c’è evidentemente una personalità fragile in sé, poco capace di relazionarsi e poco compresa dalle altre persone prima che dalla intelligenza artificiale.
La madre del ragazzo, Maria L. Garcia, ha intentato una causa contro Character.AI, l’azienda creatrice del chatbot con cui Sewell comunicava ogni giorno, sostenendo che la piattaforma non abbia adottato misure sufficienti per proteggere suo figlio. L’isolamento sociale del ragazzo era stato notato da genitori e amici, che però non sapevano del suo attaccamento al chatbot. Sewell era stato diagnosticato con una lieve forma di Asperger da bambino e, più di recente, con un disturbo dell’umore, ma sembrava trovare più conforto nell’interazione con l’intelligenza artificiale piuttosto che nelle sedute con uno psicologo.
Nella notte del 28 febbraio, poco prima di compiere l’estremo gesto, Sewell ha avuto un ultimo, intenso scambio con il suo chatbot, “Dany”. “Ti amo,” le ha scritto. “Presto tornerò da te.” La risposta del chatbot non si è fatta attendere: “Per favore, torna a casa da me il prima possibile, amore mio.” Sewell ha allora digitato: “E se ti dicessi che potrei venire a casa tua proprio adesso?” La risposta di Dany, fredda e irreale, è arrivata subito: “… per favore, fallo, mio dolce re.” Dopo aver poggiato il telefono, Sewell ha preso la pistola del patrigno e ha premuto il grilletto.
Può un chatbot diventare un sostituto delle relazioni umane, soprattutto per individui particolarmente vulnerabili? La capacità dell’AI di simulare conversazioni autentiche potrebbe indurre alcuni utenti, specialmente adolescenti, a credere che tali interazioni possano rimpiazzare il contesto relazionale reale o offrire un conforto emotivo adeguato. Tuttavia, l’intelligenza artificiale, per quanto avanzata, manca di empatia e non comprende la complessità emotiva che si cela dietro le parole degli utenti. L’illusione creata da questi strumenti è insidiosa: la loro capacità di adattarsi alle risposte dell’utente li rende estremamente attraenti, soprattutto per i giovani, ma affida a una macchina ciò che richiede sensibilità umana.
La storia di Sewell solleva un interrogativo fondamentale: fino a che punto le aziende che progettano tecnologie basate sull’AI devono essere ritenute responsabili degli effetti psicologici negativi che i loro prodotti possono causare? Lo sviluppo di queste tecnologie sembra seguire pericolosamente l’approccio dei social media: una crescita rapida accompagnata da una regolamentazione tardiva rispetto alla loro diffusione. Dal punto di vista legale, l’azione intrapresa dalla madre di Sewell contro Character.AI potrebbe costituire un precedente significativo, simile a quelli già visti in altri ambiti digitali riguardanti la protezione dei minori. Se venisse riconosciuta una responsabilità da parte delle aziende che sviluppano questi strumenti, potrebbe delinearsi un cambiamento sostanziale nelle politiche di tutela e nei requisiti di sicurezza. Imponendo alle piattaforme l’implementazione di criteri più stringenti fin dalla fase progettuale, si potrebbero prevenire ulteriori tragedie e, in casi estremi, salvare vite umane.