En este artículo exploramos qué son los tokens y cómo se calculan. Además, ofrecemos un ejemplo concreto de su uso y consejos para ahorrar tokens de manera eficiente.
- Definición de tokens
- Cómo se calculan los tokens
- Un ejemplo de tokens
- Comparativa entre tokenización de palabras y subpalabras
- Uso eficiente de los tokens
Definición de tokens
Los tokens son un componente central en el procesamiento de texto de modelos de aprendizaje automático como ChatGPT de OpenAI, y forman la base para comprender e interpretar datos de texto. Estos elementos, llamados tokens, son las unidades más pequeñas que estos modelos pueden procesar.
En su forma más simple, un token puede ser una palabra, un signo de puntuación o un espacio. Sin embargo, modelos más avanzados como ChatGPT amplían este concepto y pueden definir tokens como partes de una palabra o incluso varias palabras. Este enfoque se denomina tokenización de subpalabras.
Cómo se calculan los tokens
Al procesar un texto, primero se divide en una serie de tokens. Este proceso se llama tokenización. El modelo utiliza entonces los valores numéricos representativos de estos tokens para analizar y predecir el texto.
Un aspecto importante es la limitación en el número de tokens que un modelo puede procesar. Por ejemplo, en GPT-3.5 Turbo este límite es de 4.096 tokens y en GPT-4 es de 8.192 tokens. Esta limitación se aplica tanto a los textos de entrada como de salida, y también se denomina ventana de contexto. El número de tokens permitido en un modelo de chat como ChatGPT no solo depende de las limitaciones técnicas del propio modelo, sino que también puede ser configurado por el operador del chat o la aplicación concreta.
Un ejemplo de tokens
Una frase como «ChatGPT es un modelo de lenguaje de OpenAI» se dividiría en tokens individuales. En una tokenización sencilla por palabras, la frase podría dividirse en los siguientes tokens:
Sin embargo, en la tokenización de subpalabras, la misma frase podría dividirse en más o menos tokens, dependiendo de la lógica específica del modelo.
Comparativa entre tokenización de palabras y subpalabras
Supongamos que tenemos un texto de 1.000 palabras. Con una tokenización simple por palabras, tendríamos también 1.000 tokens. Sin embargo, con tokenización de subpalabras, el número de tokens puede variar. Por ejemplo, una palabra como «configuración» podría dividirse en varios tokens, como «Confi», «gura», «ción». Del mismo modo, un signo de puntuación o un espacio pueden contar como un token aparte. Esto significa que el número de tokens puede ser mayor que el número de palabras en el texto.
Uso eficiente de los tokens
En general, cuanto menos texto haya tanto en la pregunta como en la respuesta, menos tokens se consumen. Este es un aspecto importante a tener en cuenta para maximizar la eficiencia y optimizar el uso de los tokens en modelos como ChatGPT.
Entrada de texto eficiente: Intenta que tus preguntas sean lo más concisas y claras posible. Las repeticiones innecesarias, frases demasiado largas o explicaciones irrelevantes pueden aumentar el número de tokens necesarios.
Pedir respuestas más cortas: En algunos casos, puedes controlar la extensión de las respuestas generadas por el modelo. Respuestas más cortas consumen menos tokens.
Recordar mensajes anteriores: Dependiendo de la aplicación, puede ser útil activar o desactivar la función de recordar mensajes previos. Esta opción se puede ajustar en ChatGPT-X en «Ajustes». Es importante saber que, si está activada, tanto las preguntas como las respuestas anteriores se suman al total de tokens usados en el chat actual.
Activar la función de recuerdo: Por ejemplo, si usas ChatGPT para resumir textos y no estás satisfecho con el primer resumen, puedes dar otro comando para mejorarlo. En ese caso, es recomendable activar la función de recuerdo, de modo que el nuevo comando se base en la información anterior y el resumen sea mejorado. Así ahorras tokens porque no tienes que volver a introducir el texto inicial cada vez.
Desactivar la función de recuerdo: Si usas ChatGPT para generar poemas independientes entre sí, conviene desactivar la función de recuerdo. Así, cada nueva petición se trata de forma independiente, creando poemas únicos. Alternativamente, también puedes abrir un nuevo chat para cada conversación y asegurarte de que los mensajes anteriores no influyan en los nuevos. Así ahorras tokens, ya que textos innecesarios no se suman al nuevo prompt.