Un token è un’unità con cui un modello rappresenta il testo: può corrispondere a una parola, una parte di parola, un segno o una sequenza di caratteri. Il tokenizer stabilisce la suddivisione e gli identificatori numerici. Lo stesso testo può avere conteggi diversi con tokenizer differenti.
Esempio pratico
In un servizio a consumo, token di ingresso e uscita possono contribuire al prezzo e occupano parte della finestra di contesto.
Cosa tenere presente
Non esiste una conversione universale fra parole, caratteri e token. Lingua, codice, spazi e formato incidono sul conteggio; conviene usare il tokenizer del modello scelto.
Termini correlati
Fonte di riferimento: documentazione o ricerca originale. Verificata il 16 ottobre 2026.