Token

Réponse directe

Une petite unité de texte manipulée par un modèle de langage.

Explication détaillée

Avant d’analyser un texte, le modèle le découpe en unités appelées tokens. Un token peut représenter un mot, une partie de mot, un signe ou un espace selon le système utilisé. Les limites de contexte et les prix des API sont souvent exprimés en tokens.

Exemple

Une phrase française de dix mots peut être découpée en plus de dix tokens.

Analogie

Comme des pièces de Lego linguistiques utilisées pour démonter puis reconstruire une phrase.

Erreurs fréquentes

Considérer qu’un token correspond toujours exactement à un mot.

Termes liés

Tokenisation

Sources

OpenAI — What are tokens and how to count them? — OpenAI Help Center · consulté le 2026-07-22

Dernière mise à jour : 22/07/2026 · Rédaction : Alban Speckaert