Definición

La ventana de contexto se refiere a la cantidad máxima de texto de entrada (prompt) y texto de salida (completado) que un modelo de lenguaje grande (LLM) puede procesar o 'recordar' durante una única interacción. Esta capacidad se mide en tokens, donde un token es aproximadamente equivalente a una palabra o una unidad subpalabra.

Por Qué Es Importante

El tamaño de la ventana de contexto dicta directamente la complejidad y el alcance de las tareas que puede manejar un LLM. Una ventana más grande permite que el modelo mantenga la coherencia durante conversaciones mucho más largas, analice documentos extensos y haga referencia a partes anteriores de una entrada compleja sin perder el hilo general.

Cómo Funciona

Los modelos basados en Transformer, que impulsan la mayoría de los LLM modernos, procesan la información secuencialmente dentro de este límite de tokens definido. Cuando la entrada excede la ventana de contexto, el modelo debe truncar la información más antigua, lo que efectivamente hace que 'olvide' el comienzo de la conversación o del documento.

Casos de Uso Comunes

• Resumen de Documentos: Analizar expedientes legales o artículos de investigación completos de una sola vez.
• Chatbots de Larga Forma: Mantener el historial de conversación a lo largo de sesiones de usuario extendidas.
• Generación de Código: Permitir que el modelo haga referencia a bases de código grandes para una finalización precisa.
• Análisis de Datos: Procesar registros o conjuntos de datos extensos proporcionados como entrada de texto.

Beneficios Clave

• Coherencia Mejorada: Permite que el modelo genere resultados más relevantes y consistentes en el contexto.
• Análisis Más Profundo: Permite una revisión holística de grandes conjuntos de datos o documentos.
• Manejo de Tareas Complejas: Soporta el razonamiento de múltiples pasos que requiere hacer referencia a instrucciones o datos previos.

Desafíos

• Costo y Latencia: Las ventanas de contexto más grandes requieren significativamente más recursos computacionales (VRAM y tiempo de procesamiento), lo que aumenta los costos de la API y la latencia de la respuesta.
• Degradación de la Atención: Incluso con ventanas grandes, los modelos a veces tienen dificultades para dar igual peso a la información colocada al principio o al final de la entrada.

Conceptos Relacionados

• Tokenización: El proceso de descomponer texto sin procesar en tokens discretos que el modelo entiende.
• Mecanismo de Atención: El componente arquitectónico central que permite al modelo ponderar la importancia de diferentes tokens en relación con los demás dentro del contexto.
• Ajuste Fino (Fine-Tuning): Ajustar un modelo preentrenado con datos específicos para mejorar el rendimiento dentro de un contexto limitado.