El mismo caballo, destinos distintos

Te compras el mejor modelo y sale mal

Imagina que contratas a un cocinero con premios y le dices: «Prepara la cena». No hay cocina montada, no sabes a qué hora cenáis ni qué alergias hay, y nadie probará el plato antes de servirlo. Es un cocinero excelente; la cena será un desastre igualmente.

Con los agentes de IA pasa lo mismo. Alguien con un modelo puntero entrega un proyecto real a un agente y el agente añade una función pero rompe los tests, arregla un bug pero crea otros dos, y declara «terminado» sin que sea lo que se pidió. El primer instinto es pensar: «el modelo no es suficientemente bueno». Antes de cambiarlo, conviene dudar.

Los benchmarks no son tu proyecto

Los modelos se miden con pruebas preparadas (benchmarks) donde la tarea viene bien descrita, con tests y un entorno listo. Tu día a día es otro mundo: requisitos vagos, sin tests, reglas que solo viven en la cabeza del equipo. A esa distancia entre lo que el modelo logra en una prueba y lo que logra en tu proyecto real se le llama brecha de capacidad.

El experimento del juego retro

La lección del repositorio cuenta una comparación que hizo Anthropic. Mismo encargo («construye un creador de juegos retro 2D») y mismo modelo, con dos equipamientos distintos:

No cambió el modelo. Cambió el equipo de monta. Fíjate también en que mejorar costó mucho más tiempo y dinero: el harness no es gratis, pero convierte «no funciona» en «funciona a medias y se puede pulir».

La analogía del pura sangre

Un caballo de carreras de primera puede tirar de un carro sin arnés adecuado, pero no irá lejos, ni rápido, y caerse no será una sorpresa. Con buen equipo de monta, el mismo caballo rinde de otra manera. Por eso la lección 01 del repositorio habla de un cambio cualitativo: de «poco fiable» a «fiable», no de «un poco mejor».

Un ejemplo cotidiano

La lección describe a un equipo que pidió a un agente añadir endpoints a una aplicación web mediana con una sola frase. El agente gastó la sesión explorando el código, ignoró las convenciones del proyecto, usó una sintaxis antigua de una librería y dio por terminado un endpoint que fallaba al ejecutarse. Después el equipo añadió un archivo AGENTS.md con la arquitectura, las versiones y los comandos de comprobación. Con el mismo modelo, el agente siguió las convenciones y verificó su trabajo.

Un esquema mínimo de ese archivo:

# Mi proyecto
Qué es: API de preferencias de usuario.
Stack: Python 3.11, FastAPI.
Comprobar el trabajo: pytest tests/ && mypy src/