Neste artigo, exploramos o que são tokens e como eles são calculados. Além disso, fornecemos um exemplo concreto de uso e dicas para economizar tokens de forma eficiente.
- Definição de tokens
- Como os tokens são calculados
- Um exemplo de tokens
- Comparação entre tokenização de palavras e subpalavras
- Uso eficiente de tokens
Definição de tokens
Tokens são um componente central no processamento de texto em modelos de aprendizado de máquina como o ChatGPT da OpenAI, formando a base para compreender e interpretar dados de texto. Esses elementos, chamados tokens, são as menores unidades que esses modelos podem processar.
Na forma mais simples, um token pode ser uma palavra, um sinal de pontuação ou um espaço. No entanto, modelos mais avançados como o ChatGPT expandem esse conceito e podem definir tokens como partes de uma palavra ou até mesmo várias palavras. Essa abordagem é chamada de tokenização de subpalavras.
Como os tokens são calculados
Ao processar um texto, ele é primeiro dividido em uma série de tokens, em um processo chamado tokenização. O modelo usa então os valores numéricos representativos desses tokens para analisar e prever o texto.
Um aspecto importante é o limite de tokens que um modelo pode processar. Por exemplo, no GPT-3.5 Turbo esse limite é de 4.096 tokens, e no GPT-4, é de 8.192 tokens. Essa limitação vale tanto para textos de entrada quanto de saída, sendo chamada também de janela de contexto. O número de tokens permitido em um modelo como o ChatGPT depende não só das limitações técnicas do próprio modelo, mas também das configurações do operador do chat ou da aplicação específica.
Um exemplo de tokens
Uma frase como “ChatGPT é um modelo de linguagem da OpenAI” seria dividida em tokens individuais. Na tokenização simples por palavras, essa frase poderia ser dividida nos seguintes tokens:
No entanto, na tokenização por subpalavras, a mesma frase pode ser dividida em mais ou menos tokens, dependendo da lógica de tokenização do modelo.
Comparação entre tokenização de palavras e subpalavras
Suponha que tenhamos um texto com 1.000 palavras. Em uma tokenização simples por palavras, teríamos também 1.000 tokens. Porém, na tokenização por subpalavras, o número de tokens pode variar. Uma palavra como “configuração”, por exemplo, pode ser dividida em vários tokens, como “Confi”, “gura”, “ção”. Da mesma forma, um sinal de pontuação ou espaço também pode ser contado como um token separado. Isso significa que o número total de tokens pode ser maior do que o número de palavras do texto.
Uso eficiente de tokens
De modo geral, quanto menos texto houver tanto na pergunta quanto na resposta, menos tokens são consumidos. Este é um ponto importante a considerar para maximizar a eficiência e otimizar o uso de tokens em modelos como o ChatGPT.
Entrada de texto eficiente: Procure tornar suas perguntas o mais concisas e claras possível. Repetições desnecessárias, frases muito longas ou explicações irrelevantes podem aumentar a quantidade de tokens utilizados.
Solicitando respostas mais curtas: Em alguns casos, é possível controlar o tamanho das respostas geradas pelo modelo. Respostas mais curtas consomem menos tokens.
Lembrando mensagens anteriores: Dependendo da aplicação, pode ser útil ativar ou desativar a função de lembrar mensagens anteriores. Essa configuração pode ser ajustada no ChatGPT-X em “Configurações”. É importante observar que, ao ativar essa função, tanto perguntas quanto respostas anteriores são somadas ao total de tokens utilizados no chat atual.
Ativando a função de memória: Por exemplo, suponha que você use o ChatGPT para resumir textos. Se não ficar satisfeito com o primeiro resumo, pode emitir outro comando para melhorar o texto. Nesse caso, faz sentido ativar a função de memória, assim o novo comando pode se basear nas informações anteriores e entregar um resumo aprimorado. Isso economiza tokens, pois você não precisa inserir o texto inicial toda vez.
Desativando a função de memória: Suponha que você use o ChatGPT para gerar uma série de poemas sem relação entre si. Nesse caso, vale a pena desativar a função de memória, pois cada nova solicitação de poema será tratada de forma independente, gerando poemas únicos e independentes. Alternativamente, você também pode iniciar um novo chat para cada conversa e garantir que os prompts anteriores não influenciem os novos. Isso economiza tokens, pois textos desnecessários que não têm relação com o novo prompt não são contados.