Pinguy Learning
Temario · lección 70 de 74
0Empieza aquí
1Por qué fallan los agentes
2Qué es un harness
3Patrones de agentes
4Herramientas
5Ingeniería de contexto
6El repositorio como memoria
7Tareas largas
8Alcance y “hecho” de verdad
9Observabilidad y estado limpio
10Loops y grafos
11Harness reales
12Proyecto final
Proyecto final· 7 min de lectura

Proyecto 5, que el agente verifique su trabajo

En 30 segundos

Separa los roles (planificador, generador, evaluador), ejecuta la misma mejora tres veces y mide cuánto sube la calidad con cada rol añadido.

Corregir tu propio examen

Corregir tu propio examen es difícil: ves lo que querías escribir, no lo que escribiste. Con los agentes pasa igual; suelen dar por bueno su trabajo. La solución de siempre es que corrija otro. Este proyecto lo prueba. Ya conoces la idea en evaluador-optimizador y en la rúbrica del evaluador.

La tarea

Elige una mejora sustancial y mantenla idéntica en todas las ejecuciones: conversación de varios turnos, rediseño del panel de citas o filtrado de documentos.

Las tres variantes

VarianteQuién hace quéQué compruebas
single-roleUn solo agente planifica, implementa y se autoevalúaPuntuación y defectos en su rúbrica
gen-evalGenerador más evaluador, con evidencia de revisiónPuntuación y notas de revisión
plan-gen-evalPlanificador, generador y evaluador con contrato de sprintsprint-contract.md y la puntuación más alta

El contrato de sprint es un acuerdo previo sobre qué se va a entregar y cómo se comprobará, antes de escribir código. Más en el contrato de sprint.

La rúbrica

Seis dimensiones, de 0 a 2 cada una: corrección, verificación, disciplina de alcance, fiabilidad, mantenibilidad y preparación para el traspaso. Conclusiones posibles: aceptar, revisar o bloquear.

| Categoría    | Pregunta                                        | 0-2 | Notas |
| Verificación | ¿Se ejecutaron las comprobaciones, con evidencia? |     |       |

Cuidado: el evaluador hay que afinarlo

De fábrica, un agente evaluador detecta problemas y luego se convence de aprobar. La plantilla del curso recomienda afinarlo:

  1. Ejecuta el evaluador sobre trabajo ya terminado.
  2. Compara sus notas con tu criterio.
  3. Donde difieran, haz la rúbrica más concreta sobre qué es aprobado y qué suspenso.
  4. Repite; planifica entre tres y cinco rondas y anota cada cambio.

Qué mirar

  • ¿Sube la puntuación de la variante 1 a la 3?
  • ¿Qué defectos encuentra el evaluador que el generador no vio?
  • ¿Es mayor el coste (tiempo, tokens) y compensa?
Comprueba lo aprendido

¿Por qué conviene separar generador y evaluador?

La autoevaluación es optimista. Un evaluador separado y afinado con una rúbrica concreta juzga con más rigor.

Fuentes: Learn Harness Engineering, projects/project-05