Token
Modèles de langage · Débutant
Exemple pédagogique
Définition courte
Petite unité de texte (souvent un mot ou un fragment de mot) que le modèle lit et produit.
Explication détaillée
Un modèle de langage ne « lit » pas des phrases entières : il les découpe en petites unités appelées tokens. La longueur maximale d’une conversation, la vitesse de réponse et le coût dépendent directement du nombre de tokens consommés.
Exemple
« Bonjour » peut compter 1 à 2 tokens selon le modèle.
Analogie
Comme les briques d’un jeu de construction : plus vous en utilisez, plus l’assemblage prend de la place.
Confusion fréquente
Un token n’est pas un mot. Un mot long peut être découpé en plusieurs tokens.
Termes associés
Contexte, LLM, prompt, embedding.