La ventana de contexto

Una mesa de trabajo pequeña

Piensa en una mesa de trabajo. Cabe lo que cabe: si la llenas de planos, herramientas y cajas de tornillos, ya no encuentras nada. Un buen carpintero deja encima solo lo que necesita para la pieza que está cortando.

El modelo trabaja igual. Lo que tiene sobre su mesa se llama contexto.

Qué es el contexto

Según Anthropic, el contexto es el conjunto de tokens que se le entregan al modelo cuando genera una respuesta. No son solo tus mensajes. En un agente entran muchas piezas:

Cada vuelta del bucle del agente genera más información que podría servir en la siguiente. Alguien tiene que decidir qué se queda y qué se va. Ese alguien es el harness, y esa tarea se llama ingeniería de contexto.

Del prompt al contexto

Al principio, casi todo el trabajo con modelos consistía en escribir buenos prompts, sobre todo el prompt de sistema. Eso sigue importando, pero un agente que trabaja durante muchos turnos necesita algo más amplio: gestionar todo lo que el modelo ve en cada momento. La pregunta cambia de «¿qué palabras uso?» a «¿qué configuración de contexto hace más probable el comportamiento que quiero?».

Por qué es un recurso finito

Hay dos límites. El primero es obvio: la ventana tiene un tamaño máximo. El segundo es más sutil. Aunque quepa todo, el modelo tiene una especie de presupuesto de atención, parecido a la memoria de trabajo de una persona. Cada token nuevo gasta un poco de ese presupuesto. Lo veremos con detalle en la siguiente lección.

Esperar a que salgan ventanas más grandes tampoco resuelve el problema por sí solo: según Anthropic, ventanas de cualquier tamaño seguirán sufriendo contaminación y problemas de relevancia cuando quieres el mejor rendimiento posible.

Ejemplo: radiografía de un contexto

Imagina que le pides a un agente «arregla el test que falla». Un contexto bien cuidado tendría:

[Sistema]   Instrucciones breves + cómo ejecutar los tests
[Tools]     5 herramientas claras (leer, buscar, editar, ejecutar, git)
[Historial] El error del test + los 2 archivos relevantes

Uno mal cuidado tendría las mismas piezas más 40 herramientas parecidas entre sí, tres páginas de reglas de despliegue y 30 archivos leídos «por si acaso». El modelo es el mismo; el segundo agente rinde peor.