Temario · lección 51 de 74
1Por qué fallan los agentes
2Qué es un harness
3Patrones de agentes
4Herramientas
5Ingeniería de contexto
6El repositorio como memoria
7Tareas largas
8Alcance y “hecho” de verdad
9Observabilidad y estado limpio
10Loops y grafos
11Harness reales
12Proyecto final
- Proyecto 1, solo prompt contra harness mínimo
- Proyecto 2, un workspace legible
- Proyecto 3, continuidad entre sesiones
- Proyecto 4, feedback de runtime e indexado
- Proyecto 5, que el agente verifique su trabajo
- Proyecto 6, el harness completo (capstone)
- Proyecto 7, tu primer loop automático
- Proyecto 8, dibuja tu flujo como un grafo
- Checklist final y plantillas
La rúbrica del evaluador
Una rúbrica convierte «me parece bien» en puntuaciones con evidencia, para que dos evaluadores distintos lleguen a conclusiones parecidas sobre la misma salida.
Dos profesores, dos notas
Entregas el mismo trabajo a dos profesores. Uno te pone un 9 y otro un 5, y ninguno sabe explicar exactamente por qué. Eso pasa cuando se evalúa sin criterios escritos. Con agentes es peor: el evaluador es otro modelo, y sin guía se apoya en suposiciones implícitas. El resultado es que la calidad deja de ser reproducible.
Qué es una rúbrica
Una rúbrica es una tabla de dimensiones con una escala de puntuación. Cada dimensión es una pregunta concreta, y cada nota debe llevar evidencia. Así el rechazo deja de ser «no se siente bien» y pasa a ser «falla esta dimensión por este motivo».
Un ejemplo para copiar
La plantilla del curso puntúa de 0 a 2 seis dimensiones. Adaptada:
# Rúbrica del evaluador
| Categoría | Pregunta | Nota (0-2) | Evidencia |
|---|---|---|---|
| Corrección | ¿El comportamiento coincide con lo pedido? | | |
| Verificación | ¿Se ejecutaron las comprobaciones, con prueba de ello? | | |
| Disciplina de alcance | ¿Se respetó el alcance de la función elegida? | | |
| Fiabilidad | ¿Sobrevive a un reinicio sin reparaciones? | | |
| Mantenibilidad | ¿Lo entenderá la próxima sesión? | | |
| Preparación de entrega | ¿Una sesión nueva puede seguir solo con el repo? | | |
## Veredicto
Aceptar / Revisar / Bloquear
## Seguimiento
- Evidencia que falta:
- Correcciones necesarias:
Hay otra versión más sencilla en el material, con notas de 1 a 5 para un producto de preguntas sobre documentos: fundamentación en las fuentes, calidad de las citas, funcionalidad del flujo y coherencia del producto. La escala da igual; lo que importa es que sea la misma en cada evaluación.
Cómo usarla bien
- Se escribe antes, junto con el contrato de sprint. Si la rúbrica nace después de ver el resultado, acabará justificándolo.
- Cada nota lleva evidencia. «2: los tests pasan, salida pegada» vale; «2: se ve bien» no.
- Termina en un veredicto con consecuencias. Aceptar cierra la tarea; Revisar devuelve una lista de correcciones; Bloquear significa que no se avanza.
- La aplica un evaluador distinto del generador. Un modelo puntuando su propio trabajo tiende a ser demasiado generoso. Esto se desarrolla en maker y checker.
Dos capas que se complementan
La rúbrica decide si se acepta; las señales de ejecución de la primera lección le dan la evidencia. Si la dimensión «Verificación» pide prueba, esa prueba sale de logs y resultados de tests, no de la palabra del agente.
¿Qué logra una rúbrica en la evaluación?
Fuentes: Learn Harness Engineering, lección 11 · Learn Harness Engineering, plantillas (evaluator-rubric)