Dans cet article, nous expliquons ce que sont les tokens et comment ils sont calculés. Nous donnons également un exemple concret de leur utilisation et proposons des conseils pour économiser efficacement des tokens.
- Définition des tokens
- Comment les tokens sont calculés
- Un exemple de tokens
- Comparaison entre la tokenisation par mots et par sous-mots
- Utilisation efficace des tokens
Définition des tokens
Les tokens sont un élément central dans le traitement du texte par des modèles d’intelligence artificielle comme ChatGPT d’OpenAI. Ils constituent la base pour comprendre et interpréter les données textuelles. Ces éléments, appelés tokens, sont les plus petites unités que ces modèles peuvent traiter.
Dans sa forme la plus simple, un token peut représenter un mot, un signe de ponctuation ou un espace. Cependant, des modèles plus avancés comme ChatGPT élargissent ce concept : un token peut alors être une partie de mot ou même plusieurs mots. Cette approche est appelée tokenisation par sous-mots.
Comment les tokens sont calculés
Lors du traitement d’un texte, celui-ci est d’abord découpé en une série de tokens : c’est la tokenisation. Le modèle utilise alors la représentation numérique de ces tokens pour analyser et prédire le texte.
Un point essentiel est la limitation du nombre de tokens qu’un modèle peut traiter. Par exemple, GPT-3.5 Turbo est limité à 4 096 tokens et GPT-4 à 8 192 tokens. Cette limitation concerne à la fois les textes en entrée et en sortie, et on parle alors de « fenêtre de contexte ». Le nombre de tokens autorisé dans un modèle comme ChatGPT dépend non seulement des limites techniques du modèle lui-même, mais aussi des paramètres définis par l’opérateur ou l’application.
Un exemple de tokens
Une phrase comme « ChatGPT est un modèle de langage d’OpenAI » sera découpée en tokens distincts. Avec une simple tokenisation par mots, la phrase pourrait être découpée ainsi :
Mais avec la tokenisation par sous-mots, la même phrase pourrait être découpée en plus ou moins de tokens, selon la logique propre au modèle.
Comparaison entre la tokenisation par mots et par sous-mots
Supposons que l’on ait un texte de 1 000 mots. Avec une tokenisation simple par mots, on aurait également 1 000 tokens. Mais avec une tokenisation par sous-mots, le nombre de tokens peut varier. Par exemple, le mot « configuration » pourrait être divisé en plusieurs tokens comme « Confi », « gura », « tion ». De même, un signe de ponctuation ou un espace peuvent compter comme un token à part entière. Cela signifie que le nombre total de tokens peut être supérieur au nombre de mots du texte.
Utilisation efficace des tokens
En règle générale, moins il y a de texte dans la question et la réponse, moins de tokens sont utilisés. C’est un point important à prendre en compte pour maximiser l’efficacité et optimiser l’utilisation des tokens avec des modèles comme ChatGPT.
Saisie efficace du texte : Essayez de formuler vos demandes de manière concise et claire. Les répétitions inutiles, les phrases trop longues ou les explications hors sujet augmentent le nombre de tokens consommés.
Demander des réponses plus courtes : Dans certains cas, vous pouvez influencer la longueur des réponses générées. Plus la réponse est courte, moins de tokens sont utilisés.
Mémorisation des messages précédents : Selon l’application, il peut être utile d’activer ou de désactiver la fonction de mémorisation des messages précédents. Ce réglage se trouve dans ChatGPT-X sous « Paramètres ». Il faut savoir que si cette option est activée, les questions et réponses précédentes sont additionnées au total des tokens utilisés dans le chat.
Activation de la fonction de rappel : Par exemple, si vous utilisez ChatGPT pour résumer un texte et que le premier résumé ne vous satisfait pas, vous pouvez demander une amélioration. Dans ce cas, il est conseillé d’activer la fonction de rappel : la nouvelle commande s’appuie sur les informations précédentes et propose un résumé optimisé. Cela permet d’économiser des tokens, puisque vous n’avez pas à resoumettre le texte initial à chaque fois.
Désactivation de la fonction de rappel : Si vous utilisez ChatGPT pour générer des poèmes indépendants, il est préférable de désactiver cette fonction. Ainsi, chaque nouvelle demande est traitée de manière indépendante, générant des poèmes uniques. Vous pouvez également ouvrir un nouveau chat pour chaque nouvelle conversation afin de garantir que les messages précédents n’influencent pas les suivants. Cela permet d’économiser des tokens, car les textes inutiles ne sont pas pris en compte dans la nouvelle demande.