Tokens
Conheça as unidades usadas para processar textos e sua relação com limites, tamanho e custo de uso.
Explicação rápida
Tokens são unidades em que um modelo divide os dados para processá-los. No texto, um token pode ser parte de uma palavra, uma palavra ou um sinal.
Entendendo melhor
A divisão depende do modelo e do idioma. Não existe uma equivalência fixa entre token e palavra. Espaços e pontuação também podem participar dessa divisão.
A quantidade de tokens influencia quanto conteúdo cabe no contexto e, em muitas interfaces de programação, o custo. Entrada, saída e processamento adicional podem ter regras diferentes. Outros tipos de dados também podem ser contabilizados em tokens.
Um exemplo simples
Imagine separar uma frase em peças de tamanhos variados. Uma palavra longa pode ocupar várias peças; outra, apenas uma. Não é correto contar palavras e tratar o resultado como número exato de tokens.
Por que isso importa?
Um arquivo pequeno em páginas pode conter muito texto. Conhecer esse limite ajuda a organizar documentos e evitar pedidos que excedam a capacidade disponível.
Aplicação nos negócios
Exemplo fictício: ao analisar relatórios, uma empresa seleciona os trechos relevantes em vez de repetir todo o arquivo a cada pergunta. Ela acompanha a contagem e a qualidade das respostas.
Conceitos relacionados
IA em 90 Segundos
Vídeo em preparação.
Em breve, este conceito também terá uma explicação em vídeo de aproximadamente 90 segundos.
Para aprofundar
Conteúdo educativo · IA nos Negócios · Revisado em 29/09/2026.