Join Médicis

Fondamentaux IA

Token (IA)

Un token est l'unité de texte qu'un LLM lit et produit. Tokenisation, lien avec le coût et la fenêtre de contexte, et pourquoi le français en consomme plus.

Qu'est-ce qu'un token ?

Un token est l'unité de texte qu'un LLM lit et produit : un mot court, un morceau de mot, un chiffre ou un signe de ponctuation. La tokenisation est l'étape qui découpe un texte en tokens avant que le modèle ne le traite.

Le token sert d'unité de mesure dans toute l'IA générative : la facturation des API, la taille de la fenêtre de contexte et les limites d'usage s'expriment en tokens. Pour les modèles Gemini, un token correspond à environ 4 caractères, et 100 tokens à environ 60 à 80 mots anglais, selon la documentation de Google.

Aussi connu sous : jeton, token IA, tokenisation, tokenization, tokenizer.

Pourquoi les tokens comptent pour les marketeurs

Selon Aleksandar Petrov et ses coauteurs de l'université d'Oxford, dans une étude présentée à NeurIPS 2023, un même texte traduit dans plusieurs langues peut demander jusqu'à 15 fois plus de tokens d'une langue à l'autre, sur les 17 tokenizers testés. Les tokenizers sont en grande partie optimisés pour l'anglais.

Pour un marketeur, la conséquence se lit dans le budget et dans la qualité. Un texte français consomme en général un peu plus de tokens que sa version anglaise, ce qui coûte plus cher en API et remplit plus vite la fenêtre de contexte. Une campagne déclinée en plusieurs langues n'a donc pas le même coût dans chaque langue.

Comment fonctionne la tokenisation

La tokenisation transforme le texte en une suite de nombres que le modèle sait traiter. Elle intervient à l'entrée, sur la consigne et les documents, et à la sortie, quand le modèle écrit sa réponse token par token.

Le découpage

Un outil appelé tokenizer découpe le texte selon un vocabulaire fixe, appris sur de grands corpus. Les mots fréquents tiennent en un seul token, les mots rares ou longs en plusieurs morceaux. La plupart des modèles utilisent une méthode dérivée du Byte Pair Encoding (BPE), qui fusionne les suites de caractères les plus fréquentes.

Des tokens aux nombres

Chaque token reçoit un identifiant numérique, puis une représentation mathématique, appelée embedding, que le modèle sait traiter. Le modèle ne voit jamais les lettres, seulement ces nombres.

Les tokens d'entrée et de sortie

Les fournisseurs d'API facturent séparément les tokens envoyés (la consigne, les documents) et les tokens générés (la réponse), avec un prix en général plus élevé pour la sortie. Les modèles qui raisonnent avant de répondre consomment aussi des tokens de réflexion.

Les images, l'audio et la vidéo

Les modèles multimodaux convertissent aussi les médias en tokens. Selon Google, une petite image compte 258 tokens pour Gemini, et une seconde d'audio en compte 32.

Token vs mot et caractère

Un token n'est ni un mot ni un caractère : c'est une unité intermédiaire, propre à chaque modèle. Le même texte ne donne pas le même nombre de tokens chez Claude, ChatGPT, Gemini, Mistral ou DeepSeek. Le mot « token » désigne aussi un jeton de cryptomonnaie ou un jeton d'authentification, deux notions sans rapport avec les LLM.

Cas d'usage marketing

  • Une estimation du coût d'une génération en masse, par exemple 500 fiches produit, à partir du nombre moyen de tokens par fiche.
  • Un découpage d'un long document (étude, transcription) en parties qui tiennent dans la fenêtre de contexte.
  • Un choix de modèle selon le volume : un petit modèle bon marché pour le tri, un grand modèle pour la rédaction.
  • Un suivi de la consommation de tokens dans une automatisation, pour éviter les mauvaises surprises en fin de mois.

Limites et pièges

  • Chaque modèle a son tokenizer : une règle comme « 4 caractères par token » reste une moyenne, surtout en anglais.
  • Les tokens de réflexion sont facturés même s'ils ne s'affichent pas toujours dans la réponse.
  • Un prompt très long coûte des tokens à chaque appel, y compris les instructions répétées. La mise en cache des prompts réduit ce coût chez plusieurs fournisseurs.
  • Le découpage explique certaines erreurs : un modèle compte mal les lettres d'un mot, car il ne voit que des tokens.

Comment démarrer

Les grands fournisseurs proposent un outil pour compter les tokens d'un texte avant de l'envoyer : un tokenizer en ligne ou une fonction de comptage dans leur API. Les automatisations de Join Médicis montrent comment suivre cette consommation, et les Skills gardent les consignes courtes, ce qui économise des tokens à chaque appel.

Questions fréquentes

Combien de mots fait un token ?

En anglais, environ trois quarts de mot en moyenne. En français, un peu moins, car les mots sont souvent découpés en plus de morceaux.

Combien coûte un token ?

Le prix varie selon le modèle et le fournisseur, qui l'affichent par million de tokens. Les tokens générés coûtent en général plus cher que les tokens envoyés.

Qu'est-ce qu'une limite de tokens ?

C'est le nombre maximal de tokens qu'un modèle accepte en une fois, entre la consigne, les documents et la réponse. Au-delà, le texte est refusé ou tronqué.

Pourquoi le français consomme-t-il plus de tokens ?

Les tokenizers ont surtout appris sur de l'anglais. Les mots français, plus longs et accentués, sont plus souvent découpés en plusieurs tokens.

Une erreur, un lien cassé, un souci de sécurité ? Dis-le-nous, on corrige.

Dernière mise à jour : 10 novembre 2026

La bibliothèque IA gratuite et open-source pour les marketeurs

Retrouve facilement des ressources gratuites telles que des Skills, des MCP, des workflows et des agents IA. Fait pour les marketeurs par des marketeurs !

  • Skills, MCP, workflows et agents IA prêts à l'emploi
  • 100 % gratuit, sans paywall ni conditions cachées
  • Open-source : Skills sous licence MIT, contenu CC BY 4.0
Contribuer