Definição

No contexto de Modelos de Linguagem Grandes (LLMs) e IA generativa, o Orçamento de Tokens refere-se ao número máximo de tokens que um aplicativo ou usuário tem permissão para processar dentro de uma interação, chamada de API ou período de uso específico. Tokens são as unidades fundamentais de texto que os LLMs usam para processar informações; eles podem representar palavras, subpalavras ou caracteres.

Este orçamento dita o tamanho total da entrada (prompt) e o tamanho total da saída (completude) que o modelo pode lidar simultaneamente, impactando diretamente a latência e o custo operacional.

Por Que Isso é Importante

Gerenciar o Orçamento de Tokens é fundamental por várias razões de negócios:

• Controle de Custos: O uso de LLMs é tipicamente cobrado por token. Exceder um orçamento ou enviar prompts excessivamente longos pode levar a despesas operacionais imprevisíveis e elevadas.
• Desempenho e Latência: Entradas ou saídas extremamente grandes podem sobrecarregar a capacidade de processamento do modelo, resultando em tempos de resposta mais lentos.
• Restrições do Sistema: Muitas APIs impõem limites rígidos no tamanho da janela de contexto. Aderir ao orçamento garante que o aplicativo permaneça funcional dentro das especificações técnicas do provedor.

Como Funciona

O processo de tokenização divide o texto bruto em tokens discretos. Por exemplo, a palavra 'tokenização' pode ser dividida em vários tokens. O Orçamento de Tokens é geralmente definido pelo tamanho da janela de contexto do modelo (por exemplo, 4096 tokens). Esta janela deve acomodar tanto o prompt de entrada quanto a resposta de saída esperada.

Se o seu prompt consumir 3000 tokens e a janela de contexto máxima do modelo for de 4096 tokens, seu orçamento restante para a resposta é de apenas 1096 tokens.

Casos de Uso Comuns

• Chatbots e IA Conversacional: Limitar o orçamento evita loops infinitos ou históricos de conversação excessivamente longos que aumentam os custos.
• Sumarização de Dados: Ao resumir documentos grandes, definir um orçamento garante que a saída seja concisa e se encaixe nos limites de processamento subsequente.
• Orquestração de Agentes: Em agentes de IA de múltiplas etapas, o orçamento controla a complexidade da cadeia de raciocínio antes que uma ação final seja tomada.

Principais Benefícios

• Gastos Previsíveis: Estabelecer orçamentos claros permite que as equipes financeiras prevejam com precisão os custos operacionais de IA.
• UX Otimizada: Ao gerenciar o comprimento da entrada, os desenvolvedores podem garantir que o usuário receba respostas oportunas e relevantes.
• Eficiência de Recursos: Evita o desperdício de recursos computacionais em dados excessivamente prolixos ou irrelevantes.

Desafios

• Gerenciamento de Contexto: Determinar a quantidade ideal de dados históricos a serem incluídos no prompt sem exceder o orçamento é um ato de equilíbrio constante.
• Imprecisão na Estimativa de Tokens: Embora existam ferramentas, prever com precisão a contagem exata de tokens de dados complexos e não estruturados antes de enviá-los pode ser desafiador.

Conceitos Relacionados

• Janela de Contexto: A capacidade total de tokens que o modelo pode considerar em um determinado momento.
• Engenharia de Prompt: A prática de estruturar entradas para obter a saída desejada e eficiente.
• Custo de Inferência: A despesa operacional associada à execução do modelo para gerar uma resposta.