Context rot, o por qué más contexto no es mejor

La maleta que no cierra

Todos hemos hecho la maleta con «por si acaso». Al llegar, buscas el cargador y tienes que vaciarlo todo. Con los modelos pasa algo parecido: cuanto más les metes, más cuesta que encuentren lo que importa.

Qué es el context rot

Los estudios de tipo «aguja en un pajar» (esconder un dato en un texto enorme y pedir que lo encuentre) han mostrado un fenómeno que Anthropic llama context rot: al aumentar el número de tokens, baja la precisión al recuperar información de ese contexto.

Tres ideas para quedarte:

• Pasa con todos los modelos. Unos degradan más suavemente que otros, pero ninguno se libra.
• Es una pendiente, no un precipicio. Los modelos siguen siendo capaces con contextos largos, pero algo menos precisos en búsqueda de datos y razonamiento de largo alcance.
• Por eso el contexto es un recurso con rendimientos decrecientes: los primeros tokens útiles aportan mucho, los siguientes cada vez menos.

Por qué ocurre (versión corta)

Los modelos se basan en la arquitectura transformer, en la que cada token puede «prestar atención» a todos los demás. Con n tokens hay del orden de n² relaciones por vigilar, así que al crecer el texto la atención se reparte más fina. Además, en el entrenamiento suelen abundar más los textos cortos que los largos, de modo que el modelo tiene menos práctica con dependencias a lo largo de textos enormes.

No hace falta recordar la mecánica. Quédate con la consecuencia: la atención es un presupuesto y cada token gasta una parte.

Perdido en el medio

El curso del repositorio añade un fenómeno relacionado: en textos largos, los modelos aprovechan peor la información situada en el medio que la del principio o el final (el estudio «Lost in the Middle»). Una regla de seguridad escondida en la línea 300 de un archivo de 600 corre más riesgo de pasarse por alto. Lo veremos aplicado en por qué falla el archivo gigante.

Qué haces con esto