O que é um token de IA: como funciona e para que serve

Um token é a menor unidade de texto que um modelo de IA consegue ler ou escrever — pode ser uma palavra inteira, um pedaço de palavra, um espaço ou até um sinal de pontuação. Antes de responder qualquer coisa, o modelo transforma sua mensagem em uma sequência de tokens e é sobre essa sequência de números que ele realmente "pensa".

Este guia é para quem usa ferramentas de IA no dia a dia e já esbarrou nas palavras token e janela de contexto sem entender direito o que significam. Vamos ver o que é um token, como um texto vira token e para que essa unidade serve dentro de um modelo de linguagem — sem entrar em custo ou economia de tokens, assunto de um próximo artigo.

O que é um token

Um token é a unidade básica de processamento de um modelo de linguagem (LLM). Assim como um texto pode ser dividido em frases e frases em palavras, um modelo de IA divide o texto em tokens antes de fazer qualquer cálculo. Cada token é convertido em um número, e é com esses números — não com letras — que o modelo trabalha internamente.

Um token pode ser:

• Uma palavra inteira, como "casa".
• Um pedaço de palavra, como "desenvolv" + "imento".
• Um caractere isolado, como pontuação ou um emoji.
• Um espaço em branco, que também entra na contagem em muitos tokenizadores.

Como o texto é transformado em tokens

Esse processo se chama tokenização e é feito por um algoritmo chamado tokenizador. A técnica mais comum em modelos atuais é o BPE (Byte Pair Encoding), que aprende, a partir de um grande volume de texto, quais sequências de caracteres aparecem juntas com mais frequência e as agrupa em um único token.

Na prática, a frase "Olá, tudo bem?" pode virar algo como ["Ol", "á", ",", " tudo", " bem", "?"] — seis tokens para quatro palavras. O tokenizador não segue as regras de gramática que aprendemos na escola; ele segue os padrões estatísticos do texto em que foi treinado.

Depois de dividido em pedaços, cada token é convertido em um número de acordo com um vocabulário fixo (o "dicionário" de tokens do modelo), e é essa sequência numérica que entra de fato na rede neural.

Token não é a mesma coisa que palavra ou caractere

É comum confundir token com palavra, mas eles raramente coincidem. Em textos em inglês, a regra prática é que 1 token equivale a cerca de 4 caracteres ou 0,75 palavra, em média. Em português e em outros idiomas com mais acentos, cedilhas e palavras compostas, o mesmo conteúdo costuma virar mais tokens do que o equivalente em inglês, porque o vocabulário dos tokenizadores é treinado majoritariamente em textos nessa língua.

Por isso, comparar "quantidade de palavras" com "quantidade de tokens" é enganoso: um mesmo parágrafo pode gerar contagens bem diferentes dependendo do idioma e até do modelo usado.

Para que servem os tokens

Os tokens existem porque um modelo de linguagem não "lê" texto — ele prevê números. O treinamento e a geração de resposta funcionam da mesma forma: dado um histórico de tokens, o modelo calcula qual é o próximo token mais provável, adiciona esse token à sequência e repete o processo até formar a resposta completa, token por token.

Trabalhar com tokens em vez de palavras inteiras traz duas vantagens práticas para o modelo:

• Vocabulário menor e mais eficiente, porque não é preciso guardar cada palavra existente — só os pedaços mais comuns, combináveis entre si.
• Lida com palavras novas ou raras, nomes próprios, gírias ou termos técnicos, quebrando-os em pedaços já conhecidos em vez de travar diante de uma palavra nunca vista.

Janela de contexto: o limite medido em tokens

Todo modelo tem um limite de quantos tokens consegue considerar de uma vez — a chamada janela de contexto. Esse limite soma tudo: o que você escreveu, o histórico da conversa, documentos anexados e a resposta que o modelo está gerando. Quando esse total ultrapassa a janela, o modelo passa a "esquecer" as partes mais antigas da conversa para caber o restante.

É por isso que uma conversa muito longa pode fazer um assistente de IA perder o fio do que foi dito no início: não é falta de memória no sentido humano, é a janela de contexto — medida em tokens — se esgotando.

Perguntas frequentes

Token é a mesma coisa que palavra?

Não. Um token pode ser uma palavra inteira, um pedaço de palavra, um espaço ou um sinal de pontuação. Em português, uma única palavra frequentemente vira dois ou mais tokens.

O que é uma janela de contexto?

É a quantidade máxima de tokens — somando entrada e saída — que um modelo consegue considerar de uma só vez em uma conversa ou tarefa.

Todo modelo de IA usa o mesmo tokenizador?

Não. Cada família de modelo tem seu próprio tokenizador e vocabulário, então o mesmo texto pode gerar quantidades diferentes de tokens dependendo do modelo usado.

Conclusão

Token é a unidade que um modelo de IA usa para ler, pensar e escrever — e entender isso ajuda a entender por que respostas longas se cortam, por que a janela de contexto tem limite e por que idiomas diferentes "pesam" diferente para o mesmo modelo. No próximo artigo, vamos falar sobre economia de tokens: como o número de tokens se relaciona ao custo de uso de um modelo de IA e como reduzir esse consumo sem perder qualidade nas respostas.