I Large Language Models sono il cervello dei sistemi GEN-AI

I grandi modelli attuali con migliaia di miliardi di parametri sono stati addestrati su enormi quantità di testi con apprendimento non supervisionato, cioè senza intervento umano: tutta Wikipedia è meno dell’1% di quanto letto. Dal 2018 i LLM superano sistematicamente i precedenti sistemi addestrati per compiti specifici: anche se pensati per compiti semplici, come la previsione della parola successiva in una frase, con un addestramento adeguato e un numero di parametri sufficiente riescono a capire gran parte della sintassi e della semantica del linguaggio umano, che è altamente prevedibile.

Avendo memorizzato una grande quantità di fatti durante l'addestramento, un LLM dimostra una notevole conoscenza generale, ma non ha un modello mentale causale, non capisce, non ha imparato a conoscere il mondo: analizzando i testi ha imparato come le persone usano le parole in relazione ad altre parole, cioè la probabilità che una parola ne segua un'altra.

Lo facciamo pure noi: parlando di geopolitica, che parola segue a “Stati Uniti…”?.

In pratica un LLM è un enorme taglia&incolla di pezzi di testi usati nell'addestramento. Anche se il software ha compiuto notevoli passi avanti nella produzione di output somiglianti a quelli umani, alla GEN-AI manca ancora il senso dello scopo, l'immaginazione e la motivazione. Almeno lo speriamo.

(*) Docente di Big Data Management, MIB Trieste School of Management