Temario · lección 70 de 74
1Por qué fallan los agentes
2Qué es un harness
3Patrones de agentes
4Herramientas
5Ingeniería de contexto
6El repositorio como memoria
7Tareas largas
8Alcance y “hecho” de verdad
9Observabilidad y estado limpio
10Loops y grafos
11Harness reales
12Proyecto final
- Proyecto 1, solo prompt contra harness mínimo
- Proyecto 2, un workspace legible
- Proyecto 3, continuidad entre sesiones
- Proyecto 4, feedback de runtime e indexado
- Proyecto 5, que el agente verifique su trabajo
- Proyecto 6, el harness completo (capstone)
- Proyecto 7, tu primer loop automático
- Proyecto 8, dibuja tu flujo como un grafo
- Checklist final y plantillas
Proyecto 5, que el agente verifique su trabajo
Separa los roles (planificador, generador, evaluador), ejecuta la misma mejora tres veces y mide cuánto sube la calidad con cada rol añadido.
Corregir tu propio examen
Corregir tu propio examen es difícil: ves lo que querías escribir, no lo que escribiste. Con los agentes pasa igual; suelen dar por bueno su trabajo. La solución de siempre es que corrija otro. Este proyecto lo prueba. Ya conoces la idea en evaluador-optimizador y en la rúbrica del evaluador.
La tarea
Elige una mejora sustancial y mantenla idéntica en todas las ejecuciones: conversación de varios turnos, rediseño del panel de citas o filtrado de documentos.
Las tres variantes
| Variante | Quién hace qué | Qué compruebas |
|---|---|---|
single-role | Un solo agente planifica, implementa y se autoevalúa | Puntuación y defectos en su rúbrica |
gen-eval | Generador más evaluador, con evidencia de revisión | Puntuación y notas de revisión |
plan-gen-eval | Planificador, generador y evaluador con contrato de sprint | sprint-contract.md y la puntuación más alta |
El contrato de sprint es un acuerdo previo sobre qué se va a entregar y cómo se comprobará, antes de escribir código. Más en el contrato de sprint.
La rúbrica
Seis dimensiones, de 0 a 2 cada una: corrección, verificación, disciplina de alcance, fiabilidad, mantenibilidad y preparación para el traspaso. Conclusiones posibles: aceptar, revisar o bloquear.
| Categoría | Pregunta | 0-2 | Notas |
| Verificación | ¿Se ejecutaron las comprobaciones, con evidencia? | | |
Cuidado: el evaluador hay que afinarlo
De fábrica, un agente evaluador detecta problemas y luego se convence de aprobar. La plantilla del curso recomienda afinarlo:
- Ejecuta el evaluador sobre trabajo ya terminado.
- Compara sus notas con tu criterio.
- Donde difieran, haz la rúbrica más concreta sobre qué es aprobado y qué suspenso.
- Repite; planifica entre tres y cinco rondas y anota cada cambio.
Qué mirar
- ¿Sube la puntuación de la variante 1 a la 3?
- ¿Qué defectos encuentra el evaluador que el generador no vio?
- ¿Es mayor el coste (tiempo, tokens) y compensa?
¿Por qué conviene separar generador y evaluador?
Fuentes: Learn Harness Engineering, projects/project-05