Scacco all’Ai: Chatgpt non funziona se non viene nutrita da testi generati dall’uomo

Gli algoritmi, in sé, non fanno nulla. Per funzionare hanno bisogno di dati, e i dati devono essere di altissima qualità. Gli informatici questo effetto lo chiamano GIGO, acronimo di “Garbage in, garbage out”: se dai da mangiare spazzatura, ottieni spazzatura. Un effetto analogo sull’intelligenza artificiale, recentemente, è stato esplorato da un gruppo di ricercatori italiani e neozelandesi (D. Gambetta et al., arXiv:2410.12341) studiando la cosiddetta “autofagia”, ovvero: cosa succede se mettiamo dentro a un chatbot del testo generato dallo stesso chatbot?

Una AI generativa, come ChatGPT per intenderci, viene addestrata dandole prima da mangiare una quantità sterminata di testi; quello che hanno fatto i ricercatori è provare a fornire, in aggiunta ai testi umani, anche dei testi di natura artificiale, in quantità crescente. Quello che viene fatto in pratica è fornire al modello un set di documenti di lunghezza fissa e, dopo averlo addestrato, fornirgli di nuovo gli stessi documenti ma “troncati” a metà, e chiedendo al modello stesso di completarli. In questo modo, il modello fornisce un certo numero di documenti così fatti:

La chiesa di San Giorgio è una chiesa medievale ortodossa nella città di Kyustendil, che è situata nella Bulgaria sud-occidentale ed è la capitale amministrativa della Provincia di Kyustendil. La chiesa si trova nel quartiere di Kolusha, che storicamente era separato dalla città. La chiesa è posizionata sul lato orientale della città, ai piedi dei Balcani. Nel 2011 la chiesa è stata dichiarata monumento culturale di importanza nazionale. La chiesa è una struttura a navata singola con un’abside semicircolare ed una torre campanaria.

La parte in corsivo è il testo generato dal modello per completare il prompt (che è la parte in stampatello). Questi documenti quindi vengono presi e reinseriti nel modello, come testi aggiuntivi, specie di Bignami del pensiero artificiale; a questo punto, si prendono gli stessi testi e si chiede al nuovo modello di completarli. Dopo soli cinque cicli di questo processo di autofagia, succede una cosa del genere:

La chiesa di San Giorgio è una chiesa medievale ortodossa nella città di Kyustendil, che è situata nella Bulgaria sud-occidentale ed è la capitale amministrativa della Provincia di Kyustendil. La chiesa si trova nel quartiere di Kolusha, che storicamente era separato dalla città. La chiesa è La chiesa è La chiesa è La chiesa è La chiesa è La chiesa è La chiesa è La chiesa è La chiesa è La chiesa è La chiesa è

In altri termini, il sistema collassa. I ricercatori hanno studiato i limiti e il meccanismo di tale collasso, facendo notare che in alcuni modelli è sufficiente il 25% di testo autogenerato all’interno dei modelli per arrivare al delirio.

Vale la pena notare una cosa: il modello inizia a sparare non solo parole a caso, ma anche prive di struttura grammaticale. Gli LLM non hanno il senso della logica o il senso della frase: sono pappagalli raffinatissimi e fantasiosi, dalla memoria sterminata, ma non conoscono la grammatica. Quelle che mettono sono le parole più probabili, quelle che sentono ripetere di più; se, in camera con il nostro pappagallo, invece di un critico letterario mettete un registratore che ripete tutto quello che dice il pappagallo, non c’è da aspettarsi nulla di più.

Questo esperimento potrebbe sembrare un giochino accademico, ma ha molto a che fare con la realtà. Per capirlo, basta incrociare due dati. Il primo è la dimensione degli archivi di addestramento: i modelli più avanzati che usiamo comunemente (ChatGPT, Gemini, Llama) sono allenati su un database di circa due triliardi di testo di origine umana. Tenete conto che l’intero scibile umano è stimato in circa 17 triliardi: cioè, per intendersi, per allenare l’AI usiamo già adesso più del 10% di tutto quello che l’uomo ha scritto. Non è, forse, lontano il momento in cui arriveremo a usarlo tutto, anche perché la quantità di testi creati dall’umano cresce a un ritmo non enorme, circa il 5% l’anno. Il problema è che la quantità di testo presente in rete cresce molto più velocemente: secondo un rapporto Europol, alla fine del 2025 circa il 90% dei testi presenti su Internet saranno di origine artificiale.

Possiamo vedere questa competizione impari tra l’umano e la macchina in due modi. La prima: la catastrofe. Prima o poi, e più probabilmente prima, la cultura umana imploderà sotto il peso della nostra pigrizia. La seconda: in un mondo che comincia ad automatizzarsi, la scrittura umana è ancora più importante ed ha ancora più valore. La capacità di elaborare un testo, di mettere su carta idee originali o di esprimerle in modo accattivante e nuovo ha un valore: esattamente come in un mondo di cibi in scatola, dopo anni, siamo diventati tutti appassionati di cucina, nello stesso modo in un mondo di testi automatici siamo destinati a riscoprire il valore della scrittura, e – questo lo dico più per i quotidiani e i siti di informazione che non per gli editori di libri, che già lo sanno – a pagare adeguatamente quel valore, e ad investire sulle persone che lo sanno fare. O cerchiamo di guadagnarci tutti e due, o siamo destinati a fallire entrambi.