Contatore di Token per LLM
Conta i token di un testo per i modelli OpenAI e vedi come viene diviso, con stima per gli altri modelli, direttamente nel browser.
Inserisci un testo per contarne i token.
Cos'è un token e come funziona questo contatore
Un token è l'unità di testo con cui lavora un modello di linguaggio: una parola intera, un frammento di parola, un segno di punteggiatura o uno spazio. I modelli non leggono lettere né parole, ma sequenze di token, e tutto ciò che li riguarda si misura in token: la lunghezza massima di una conversazione (la finestra di contesto), la velocità con cui rispondono e, nelle API a pagamento, il costo. Questo strumento conta i token di un testo e ti mostra come viene diviso, direttamente nel browser.
Il conteggio è esatto per i modelli OpenAI. Il tokenizzatore o200k_base è quello di GPT-5, GPT-4.1, GPT-4o e dei modelli della serie «o»; cl100k_base è quello di GPT-4 e GPT-3.5. Il vocabolario di questi tokenizzatori è pubblico, quindi il calcolo avviene interamente sul tuo dispositivo e nessun testo viene inviato a un server. Il vocabolario pesa qualche megabyte e viene scaricato solo quando inserisci il primo testo, non quando apri la pagina.
Per Claude, Gemini, Llama e gli altri modelli il conteggio esatto non è possibile qui, perché ognuno usa un tokenizzatore diverso e non sempre pubblico. Per questi casi lo strumento mostra una stima con la regola pratica di circa quattro caratteri per token, valida per l'inglese: per l'italiano e per altre lingue i token sono di solito di più. Se ti serve il numero preciso, per esempio per la fatturazione, usa lo strumento ufficiale del provider.
La suddivisione colorata mostra come il testo viene tagliato: le parole comuni restano intere, quelle lunghe o rare vengono spezzate e uno spazio iniziale fa parte del token che segue. Un'emoji o una lettera accentata può occupare più di un token: nella visualizzazione la vedi per intero, mentre il conteggio resta quello esatto. Provare lo stesso testo con i due tokenizzatori mostra anche quanto cambiano i numeri: la frase «Perché la stessa domanda a un assistente IA ottiene risposte diverse?» vale 19 token con cl100k_base e 16 con o200k_base.
Il costo si calcola moltiplicando i token per il prezzo per milione di token. I prezzi cambiano spesso e variano per modello, per input e per output, quindi non sono incorporati nello strumento: inserisci il prezzo che leggi nel listino del provider e ottieni il costo del testo. Per approfondire come un testo diventa token e perché conta, c'è la guida «Cos'è un token in un LLM» e il libro «Anatomia di un LLM», che dedica un capitolo a questo passaggio.
Domande frequenti
- Il conteggio dei token è esatto?
- Sì per i tokenizzatori OpenAI elencati (o200k_base e cl100k_base), perché il loro vocabolario è pubblico e il calcolo è identico a quello dei modelli. Per Claude, Gemini, Llama e gli altri lo strumento mostra solo una stima indicativa, dichiarata come tale.
- Perché non conta i token di Claude?
- Il tokenizzatore di Claude non è disponibile per un uso locale: si può interrogare solo tramite l'API del provider, con una chiave e inviando il testo a un server. Per mantenere tutto nel tuo browser, per Claude lo strumento offre una stima. Per il numero esatto usa il conteggio ufficiale di Anthropic.
- Perché lo stesso testo ha numeri diversi con due tokenizzatori?
- Ogni tokenizzatore ha un vocabolario diverso e quindi taglia il testo in modo diverso. I modelli più recenti usano vocabolari più ampi, che su molte lingue diverse dall'inglese possono richiedere meno token. Sulla frase di esempio il conteggio scende da 19 (cl100k_base) a 16 (o200k_base).
- Come si calcola il costo di un testo?
- Moltiplicando i token per il prezzo per milione di token e dividendo per un milione. Inserisci il prezzo dal listino del provider: i prezzi cambiano spesso e differiscono tra input e output, quindi non sono incorporati nello strumento.
- Che cosa succede con stringhe speciali come <|endoftext|>?
- Vengono trattate come testo normale e contate come tali, senza errori. Nei modelli veri quei marcatori hanno un ruolo speciale, ma per misurare la lunghezza di un testo incollato questo è il comportamento più utile.
- I testi inseriti vengono inviati a un server?
- No. Il conteggio avviene interamente nel tuo browser. Solo il vocabolario del tokenizzatore viene scaricato dal sito, la prima volta che inserisci un testo; il tuo testo non esce mai dal dispositivo.
Dai libri
