Pinguy Learning
Temario · lección 51 de 74
0Empieza aquí
1Por qué fallan los agentes
2Qué es un harness
3Patrones de agentes
4Herramientas
5Ingeniería de contexto
6El repositorio como memoria
7Tareas largas
8Alcance y “hecho” de verdad
9Observabilidad y estado limpio
10Loops y grafos
11Harness reales
12Proyecto final
Observabilidad y estado limpio· 6 min de lectura

La rúbrica del evaluador

En 30 segundos

Una rúbrica convierte «me parece bien» en puntuaciones con evidencia, para que dos evaluadores distintos lleguen a conclusiones parecidas sobre la misma salida.

Dos profesores, dos notas

Entregas el mismo trabajo a dos profesores. Uno te pone un 9 y otro un 5, y ninguno sabe explicar exactamente por qué. Eso pasa cuando se evalúa sin criterios escritos. Con agentes es peor: el evaluador es otro modelo, y sin guía se apoya en suposiciones implícitas. El resultado es que la calidad deja de ser reproducible.

Qué es una rúbrica

Una rúbrica es una tabla de dimensiones con una escala de puntuación. Cada dimensión es una pregunta concreta, y cada nota debe llevar evidencia. Así el rechazo deja de ser «no se siente bien» y pasa a ser «falla esta dimensión por este motivo».

Un ejemplo para copiar

La plantilla del curso puntúa de 0 a 2 seis dimensiones. Adaptada:

# Rúbrica del evaluador

| Categoría | Pregunta | Nota (0-2) | Evidencia |
|---|---|---|---|
| Corrección | ¿El comportamiento coincide con lo pedido? | | |
| Verificación | ¿Se ejecutaron las comprobaciones, con prueba de ello? | | |
| Disciplina de alcance | ¿Se respetó el alcance de la función elegida? | | |
| Fiabilidad | ¿Sobrevive a un reinicio sin reparaciones? | | |
| Mantenibilidad | ¿Lo entenderá la próxima sesión? | | |
| Preparación de entrega | ¿Una sesión nueva puede seguir solo con el repo? | | |

## Veredicto
Aceptar / Revisar / Bloquear

## Seguimiento
- Evidencia que falta:
- Correcciones necesarias:

Hay otra versión más sencilla en el material, con notas de 1 a 5 para un producto de preguntas sobre documentos: fundamentación en las fuentes, calidad de las citas, funcionalidad del flujo y coherencia del producto. La escala da igual; lo que importa es que sea la misma en cada evaluación.

Cómo usarla bien

  1. Se escribe antes, junto con el contrato de sprint. Si la rúbrica nace después de ver el resultado, acabará justificándolo.
  2. Cada nota lleva evidencia. «2: los tests pasan, salida pegada» vale; «2: se ve bien» no.
  3. Termina en un veredicto con consecuencias. Aceptar cierra la tarea; Revisar devuelve una lista de correcciones; Bloquear significa que no se avanza.
  4. La aplica un evaluador distinto del generador. Un modelo puntuando su propio trabajo tiende a ser demasiado generoso. Esto se desarrolla en maker y checker.

Dos capas que se complementan

La rúbrica decide si se acepta; las señales de ejecución de la primera lección le dan la evidencia. Si la dimensión «Verificación» pide prueba, esa prueba sale de logs y resultados de tests, no de la palabra del agente.

Comprueba lo aprendido

¿Qué logra una rúbrica en la evaluación?

La rúbrica sustituye el juicio subjetivo por criterios y puntuaciones basadas en evidencia, de modo que la evaluación es reproducible.

Fuentes: Learn Harness Engineering, lección 11 · Learn Harness Engineering, plantillas (evaluator-rubric)