Cos'è un token in un LLM e perché conta

Che cos'è un token

Un token è l'unità di testo con cui lavora un modello di linguaggio. Può essere una parola intera, un frammento di parola, un segno di punteggiatura o uno spazio. Le parole comuni di solito restano intere; quelle lunghe, rare o inventate vengono spezzate in più frammenti.

Il testo viene diviso in token prima di entrare nel modello, e ogni token corrisponde a un numero di un elenco fisso chiamato vocabolario. Da quel momento il modello lavora solo su numeri.

Come si decide dove tagliare il testo

I frammenti non sono scelti a mano. Un algoritmo (molto usato è il byte-pair encoding) analizza una grande quantità di testo, individua le sequenze di caratteri che ricorrono più spesso e le promuove a token. Il risultato è un vocabolario che va da alcune decine di migliaia a circa duecentomila pezzi, a seconda del modello.

Quanti token è una parola

Dipende dalla lingua e dal modello. Per l'inglese una regola pratica dice che un token vale circa quattro caratteri, cioè circa tre quarti di parola. L'italiano, e in generale le lingue meno presenti nei dati di addestramento, richiede in media più token per la stessa frase, perché i vocabolari sono tarati soprattutto sull'inglese.

Non esiste un numero esatto valido ovunque: lo stesso testo produce conteggi diversi con modelli diversi.

Perché i token contano

Tre conseguenze pratiche:

• Il limite di contesto: la «finestra di contesto» è misurata in token e comprende sia ciò che scrivi sia ciò che il modello risponde. Oltre quella soglia, le parti più vecchie della conversazione non vengono più considerate.
• Il costo: le API a pagamento addebitano separatamente i token in ingresso e quelli in uscita.
• La velocità: la risposta viene prodotta un token alla volta, quindi le risposte lunghe richiedono più tempo.

Gli errori strani che i token aiutano a spiegare

Contare le lettere di una parola, scriverla al contrario o fare calcoli con numeri molto lunghi sono compiti in cui i modelli sbagliano più spesso di quanto ci si aspetti. Una delle cause è proprio la tokenizzazione: il modello non vede la parola lettera per lettera, ma pezzi interi, e sulle singole lettere ha solo un'informazione indiretta.

Non è l'unica causa, ma aiuta a capire perché domande apparentemente semplici possono mettere in difficoltà sistemi molto capaci.

Come usare questa informazione

• Se un testo è molto lungo, riassumilo o dividilo in parti invece di incollarlo tutto in una volta.
• Chiedi la risposta nel formato che ti serve: una tabella breve costa meno di un saggio.
• Per contare lettere o fare calcoli esatti usa uno strumento (una calcolatrice, un foglio di calcolo) invece di fidarti della risposta a memoria.

Altre guide

• Come funziona un LLM, spiegato senza formule
• Come scrivere un buon prompt: cinque regole ed esempi
• Perché l'IA inventa risposte e come verificarle