Come funziona un LLM, spiegato senza formule
Aggiornata il
Un LLM (large language model, «grande modello di linguaggio») è il motore che sta dietro agli assistenti di IA generativa come ChatGPT, Claude o Gemini.
Per capirne il principio non serve la matematica: serve seguire il percorso di una richiesta, dal testo che scrivi alla risposta che leggi.
Dal testo ai numeri
Il primo passo è la tokenizzazione: la frase viene divisa in token e ogni token diventa un numero. Poi ogni numero viene trasformato in un lungo elenco di valori (un «vettore») che rappresenta come quel pezzo di testo viene usato: pezzi che compaiono in contesti simili finiscono in posizioni vicine, come punti su una mappa. È il passaggio in cui il testo diventa geometria.
Il ruolo dell'attenzione
Il cuore dei modelli attuali è il Transformer, un'architettura presentata nel 2017. Il suo meccanismo chiave, l'attenzione, permette a ogni token di «guardare» gli altri token della richiesta e decidere quali contano di più per interpretarlo.
Nella frase «Marta ha dato il libro a Luca perché lui lo aveva chiesto», l'attenzione aiuta a collegare «lui» a Luca. Il modello ripete questo lavoro in molti strati sovrapposti.
Una risposta, un token alla volta
Alla fine degli strati il modello produce una distribuzione di probabilità: per ogni token del vocabolario, quanto è plausibile come prossimo. Ne viene scelto uno, spesso con un po' di casualità regolata da un parametro chiamato temperatura, viene aggiunto al testo e il processo ricomincia.
Per questo la stessa domanda può ricevere risposte diverse, e per questo la risposta compare a poco a poco.
Come impara
Nell'addestramento iniziale (pre-addestramento) il modello legge enormi quantità di testo e impara un solo compito: prevedere il token successivo. Ripetuto miliardi di volte, questo obiettivo semplice lo costringe a catturare grammatica, fatti, stili e schemi di ragionamento.
Il modello grezzo, però, completa il testo: non conversa. Una seconda fase di addestramento, con esempi di conversazioni e valutazioni delle risposte, lo trasforma in un assistente che segue le istruzioni.
Dove gira davvero
Un modello è, in pratica, un enorme insieme di numeri (i parametri, o pesi) e il codice che li usa. Per produrre ogni token servono moltissimi calcoli in parallelo: per questo i modelli grandi girano su schede grafiche (GPU) o acceleratori dedicati nei data center.
Quello che un assistente sa fare oltre al modello, come cercare sul web, leggere documenti o usare strumenti, è aggiunto intorno: non fa parte del modello stesso.
Che cosa non è un LLM
- Non è un motore di ricerca: quando risponde non consulta un archivio di documenti, a meno che non gli venga collegato uno strumento di ricerca.
- Non capisce come una persona, ma non è nemmeno un semplice completamento automatico più grande: la sua capacità di generalizzare nasce da come è stato addestrato.
- Non sa quando sbaglia: produce il testo più plausibile, non quello più verificato.
Approfondisci nel libro
«Anatomia di un LLM» percorre questa strada per intero, con un unico esempio che attraversa tutto il libro: dal token all'attenzione, dall'addestramento all'hardware su cui gira il modello.
Scopri il libro