Cos'è un modello linguistico? Spiegato senza formule

Il gioco del completamento

Hai presente quando scrivi un messaggio sul telefono e la tastiera ti suggerisce la parola dopo? Scrivi «Ci vediamo» e lei propone «domani», «dopo», «stasera».

Un modello linguistico (in inglese large language model, LLM) fa esattamente questo. Solo che lo fa in modo enormemente più bravo: invece di suggerire una parola, ne sceglie una, la aggiunge al testo, e poi ricomincia. Parola dopo parola, costruisce un’intera risposta.

ChatGPT, Claude, Gemini: sotto il cofano funzionano tutti così. Quando ti rispondono non stanno “cercando” la risposta da qualche parte. La stanno scrivendo, un pezzo alla volta, scegliendo ogni volta il pezzo che ha più senso dopo quelli precedenti.

Un pezzetto alla volta: i token

C’è un dettaglio importante. Il modello non ragiona per parole intere, ma per token: pezzetti di testo. Una parola corta come «casa» è spesso un token solo. Una parola lunga come «intelligenza» viene spezzata in due o tre pezzi.

Ogni token viene trasformato in un numero, perché il modello lavora solo con i numeri. Il testo che scrivi diventa una sequenza di numeri, e la risposta nasce come un’altra sequenza di numeri, ritrasformata in parole alla fine.

Puoi vederlo con i tuoi occhi nella demo in fondo alla guida: scrivi una frase e guarda come viene spezzata.

Questo spiega anche perché i servizi a pagamento contano i token e non le parole: è l’unità con cui il modello lavora davvero.

Come ha imparato: leggendo tantissimo

Come fa a sapere quale pezzo viene dopo? L’ha imparato durante l’addestramento.

Immagina di dare a qualcuno una frase con l’ultima parola nascosta e chiedergli di indovinarla. Poi un’altra, e un’altra ancora. Miliardi di volte, su testi presi da libri, siti, articoli, codice. Ogni volta che sbaglia, si corregge un pochino.

Il modello è fatto così: miliardi di piccole manopole (i parametri) che vengono regolate a ogni tentativo. Alla fine dell’addestramento, quelle manopole contengono una specie di mappa statistica di come funziona il linguaggio: quali parole stanno bene insieme, come si struttura un’email, come si risolve un’equazione, che tono ha una lettera di scuse.

Poi c’è un secondo passaggio: persone vere valutano le risposte e insegnano al modello a essere utile, chiaro e a rifiutare le richieste pericolose. È per questo che ChatGPT risponde come un assistente e non come un pezzo di internet a caso.

Perché sembra che capisca

Se si limita a indovinare la parola dopo, come fa a scrivere un contratto o a spiegarti la fisica?

Perché per indovinare bene la parola successiva in milioni di situazioni diverse, il modello ha dovuto catturare un sacco di struttura: logica, grammatica, fatti, stili. Non capisce il mondo come lo capisci tu, perché non l’ha mai visto né toccato. Ma ha letto così tanto che riesce a rispondere come se capisse, e spesso il risultato è davvero utile.

I modelli più recenti fanno anche un passo in più: prima di rispondere, “ragionano” scrivendo dei passaggi intermedi, un po’ come fai tu quando fai i conti su un foglio. Questo li rende molto più bravi nei problemi a più passaggi. Ma il meccanismo di fondo resta lo stesso: prevedere il pezzo successivo.

Perché a volte sbaglia con sicurezza

Qui arriva la parte importante. Il modello è stato allenato a produrre testo plausibile, non testo vero. Quasi sempre le due cose coincidono. Quando non coincidono, il modello scrive comunque qualcosa che suona bene.

Questo fenomeno si chiama allucinazione: una citazione inventata, una legge che non esiste, un numero sbagliato, scritti con lo stesso tono sicuro di una risposta corretta.

Ci sono altri due limiti da conoscere:

• Non sa cosa è successo dopo l’addestramento, a meno che non possa cercare sul web. Ogni modello ha una data oltre la quale “non ha letto niente”.
• Non ricorda le altre conversazioni, a meno che il servizio non abbia una funzione di memoria attiva. Ogni chat nuova parte da zero.

Il contesto: la sua memoria di lavoro

Dentro una conversazione, invece, il modello vede tutto quello che vi siete detti: è il suo contesto. Ogni nuova risposta viene scritta tenendo conto di tutto il testo precedente.

Ed ecco il consiglio più utile di tutta la guida: più contesto gli dai, meno deve tirare a indovinare. Se scrivi «fammi un’email», sceglierà le parole più probabili per un’email qualsiasi. Se scrivi a chi è indirizzata, cosa deve ottenere e che tono vuoi, sceglierà le parole più probabili per quella email.

È tutto qui il segreto dei prompt che funzionano, e ne parliamo nella guida su come scrivere un prompt.

In breve

• Un modello linguistico prevede il pezzo di testo successivo, ancora e ancora.
• Lavora con i token, pezzetti di parole trasformati in numeri.
• Ha imparato leggendo miliardi di testi e poi è stato rifinito da persone vere.
• Scrive cose plausibili, quasi sempre vere ma non sempre: controlla i fatti importanti.
• Più contesto gli dai, migliore è la risposta.