Evaluador-optimizador

El escritor y su editor

Cuando escribes algo importante, rara vez sale bien a la primera. Lo lees, o se lo das a alguien que te dice «aquí no se entiende», lo corriges y vuelves a enseñarlo. Así se pule un texto.

El patrón evaluador-optimizador (evaluator-optimizer) copia ese proceso: una llamada al modelo genera una respuesta y otra evalúa y da feedback, en bucle.

generador -> respuesta -> evaluador
    ^                         |
    +---- crítica ------------+   (se repite hasta "aprobado")

Cuándo encaja

Anthropic señala dos señales de buen ajuste:

1. Las respuestas del modelo mejoran de forma demostrable cuando una persona expresa su feedback.
2. El propio modelo es capaz de dar ese feedback.

Y además hace falta que haya criterios de evaluación claros y que refinar aporte valor medible. Es el mismo proceso iterativo de un escritor humano puliendo un documento.

Ejemplos de la fuente:

• Traducción literaria: matices que el traductor no capta a la primera pero que un evaluador puede señalar.
• Búsquedas complejas que necesitan varias rondas: el evaluador decide si merece la pena buscar más.

Ejemplo mínimo

Prompt del evaluador, con criterios explícitos:

Evalúa este resumen con estos criterios:
1. ¿Menciona las tres ideas principales?
2. ¿Tiene menos de 100 palabras?
3. ¿Evita datos que no estén en el original?
Responde "APROBADO" o una lista de fallos concretos.

El generador recibe la lista de fallos y reescribe. Para evitar bucles infinitos conviene fijar un máximo de rondas, igual que la fuente recomienda condiciones de parada en los agentes.

Esta separación entre quien hace y quien juzga reaparece más adelante en maker y checker. Y el último patrón lleva todo esto un paso más lejos: agentes autónomos.