Definición

En el contexto de los Modelos de Lenguaje Grandes (LLMs) y la IA generativa, el Presupuesto de Tokens se refiere al número máximo de tokens que una aplicación o usuario tiene permitido procesar dentro de una interacción, llamada a la API o período de uso específico. Los tokens son las unidades fundamentales de texto que utilizan los LLMs para procesar información; pueden representar palabras, subpalabras o caracteres.

Este presupuesto dicta el tamaño total de la entrada (prompt) y el tamaño total de la salida (completado) que el modelo puede manejar simultáneamente, lo que afecta directamente la latencia y el costo operativo.

Por Qué Es Importante

Gestionar el Presupuesto de Tokens es fundamental por varias razones de negocio:

• Control de Costos: El uso de LLM generalmente se factura por token. Exceder un presupuesto o enviar indicaciones excesivamente largas puede provocar gastos operativos impredecibles y altos.
• Rendimiento y Latencia: Las entradas o salidas extremadamente grandes pueden sobrecargar la capacidad de procesamiento del modelo, lo que lleva a tiempos de respuesta más lentos.
• Restricciones del Sistema: Muchas API imponen límites estrictos en el tamaño de la ventana de contexto. Adherirse al presupuesto asegura que la aplicación siga siendo funcional dentro de las especificaciones técnicas del proveedor.

Cómo Funciona

El proceso de tokenización desglosa el texto sin procesar en tokens discretos. Por ejemplo, la palabra 'tokenization' podría dividirse en varios tokens. El Presupuesto de Tokens generalmente se define por el tamaño de la ventana de contexto del modelo (por ejemplo, 4096 tokens). Esta ventana debe albergar tanto la indicación de entrada como la respuesta de salida esperada.

Si su indicación consume 3000 tokens y la ventana de contexto máxima del modelo es de 4096 tokens, su presupuesto restante para la respuesta es de solo 1096 tokens.

Casos de Uso Comunes

• Chatbots e IA Conversacional: Limitar el presupuesto evita que bucles infinitos o historiales de conversación excesivamente largos eleven los costos.
• Resumen de Datos: Al resumir documentos grandes, establecer un presupuesto asegura que la salida sea concisa y encaje dentro de los límites de procesamiento posteriores.
• Orquestación de Agentes: En agentes de IA de múltiples pasos, el presupuesto controla la complejidad de la cadena de razonamiento antes de que se tome una acción final.

Beneficios Clave

• Gasto Predecible: Establecer presupuestos claros permite a los equipos financieros pronosticar con precisión los costos operativos de la IA.
• UX Optimizada: Al gestionar la longitud de la entrada, los desarrolladores pueden garantizar que el usuario reciba respuestas oportunas y relevantes.
• Eficiencia de Recursos: Previene el desperdicio de recursos computacionales en datos excesivamente verbosos o irrelevantes.

Desafíos

• Gestión del Contexto: Determinar la cantidad óptima de datos históricos a incluir en la indicación sin exceder el presupuesto es un acto de equilibrio constante.
• Imprecisión en la Estimación de Tokens: Aunque existen herramientas, predecir con precisión el recuento exacto de tokens de datos complejos y no estructurados antes de enviarlos puede ser un desafío.

Conceptos Relacionados

• Ventana de Contexto: La capacidad total de tokens que el modelo puede considerar en un momento dado.
• Ingeniería de Prompts: La práctica de estructurar las entradas para provocar la salida deseada y eficiente.
• Costo de Inferencia: El gasto operativo asociado con la ejecución del modelo para generar una respuesta.