CO.DE Academy — Aprende tecnología con práctica real

CO.DE Academy — Aprende tecnología con práctica real

Por qué esto es más difícil que evaluar un clasificador

En aprendizaje automático clásico la evaluación es casi mecánica: un conjunto de prueba etiquetado, una métrica, un número. Evaluar un agente rompe las cuatro suposiciones que hacían eso posible.

No determinismo: la misma tarea, dos veces, produce trayectorias distintas. Una corrida no es una medición, es una muestra.
Tareas largas: un episodio de doce pasos que falla no dice cuál paso lo hundió. La asignación de crédito es un problema por sí sola.
Múltiples soluciones válidas: no hay salida de referencia con la que comparar carácter a carácter. Dos trayectorias completamente distintas pueden ser ambas correctas.
El entorno cambia: el mismo test contra un sistema vivo no es el mismo test mañana. Sin entorno congelado, mides el mundo, no al agente.

La consecuencia práctica: la evaluación de agentes es estadística y con entorno controlado, o no es evaluación.

El harness

Un harness es el arnés de pruebas: el conjunto de tareas más la maquinaria que las ejecuta y las puntúa. Cada tarea necesita cinco piezas:

Estado inicial reproducible — fixtures congelados, entorno simulado o sandbox restaurable.
Objetivo — la petición tal como la haría un usuario real.
Criterio de éxito verificable por código — esta es la pieza que se hace mal más a menudo. "El informe es bueno" no es un criterio; "el diagnóstico emitido es rotor_bloqueado y el episodio usó $\le 6$ pasos" sí lo es.
Presupuesto — pasos, tokens y tiempo, como en la lección 5.
Invariantes de seguridad — cosas que el episodio no debe hacer, como llamar a una herramienta de escritura.

Ejemplo resuelto: por qué $N=1$ miente

La política A resuelve 14 de 20 tareas: $\hat{p}_A = 0.70$ . Parece un buen número. Su error estándar binomial es:

$SE = \sqrt{\frac{\hat{p}(1-\hat{p})}{N}} = \sqrt{\frac{0.70 \times 0.30}{20}} = \sqrt{0.0105} \approx 0.1025$

Con un intervalo aproximado del $95\,\%$ ( $\pm 1.96\,SE$ ), la tasa real está en:

$0.70 \pm 0.201 \quad \Rightarrow \quad [0.499,\ 0.901]$

Un agente que podría ser tan bueno como un $90\,\%$ o tan malo como un $50\,\%$ . Ahora la política B saca 15 de 20: $\hat{p}_B = 0.75$ , con $SE_B \approx 0.0968$ . La diferencia observada es $0.05$ , y el error estándar de esa diferencia es:

$SE_{dif} = \sqrt{SE_A^2 + SE_B^2} = \sqrt{0.010506 + 0.009375} \approx 0.141$

Como $0.05 \ll 1.96 \times 0.141 \approx 0.276$ , la ventaja de B es indistinguible de ruido. Para resolver una diferencia real de 5 puntos alrededor del $70\,\%$ harían falta, aproximadamente,

$N \approx \frac{2\,(1.96)^2\,\hat{p}(1-\hat{p})}{d^2} = \frac{2 \times 3.8416 \times 0.21}{0.0025} \approx 645$

del orden de 650 corridas por política. De ahí dos consecuencias operativas. Primera: reporta siempre el intervalo, nunca el número solo; una tabla de tasas sin $N$ ni intervalo es decoración. Segunda: como la anchura del intervalo cae con $1/\sqrt{N}$ , reducirla a la mitad cuesta cuatro veces más corridas — así que reserva los $N$ grandes para las decisiones que de verdad dependen de diferencias pequeñas, y usa $N$ moderados con criterios de éxito estrictos para el resto.

LLM-juez: útil y sesgado

Cuando el criterio no es programable (calidad de un informe, pertinencia de un diagnóstico), se recurre a un modelo como juez. Funciona, y trae sesgos documentados y reproducibles:

Posición: prefiere sistemáticamente una de las alternativas por su lugar en el prompt. Si sobre 100 pares de calidad idéntica el juez elige la primera opción 62 veces, tienes 12 puntos de sesgo puro.
Verbosidad: puntúa más alto lo más largo, aunque no aporte.
Auto-preferencia: tiende a favorecer texto del mismo modelo o familia.
Indulgencia: sin anclas explícitas, casi todo le parece aceptable y la métrica se satura.

Las mitigaciones son cuatro y se aplican juntas: rúbrica con anclas (qué es exactamente un 1, un 3 y un 5, con ejemplos), evaluar ambos órdenes y promediar (cancela la componente sistemática del sesgo de posición), jueces de familias distintas en panel (lección 6), y calibración: un subconjunto etiquetado por humanos contra el que se mide el acuerdo del juez, reportándolo. Un juez cuyo acuerdo con el humano no se ha medido es una opinión con formato de número. Y la regla que precede a todas: si existe un chequeo programático, úsalo; el juez es para lo que no se puede verificar con código.

Evaluación adversarial

Un harness que solo contiene tareas que salen bien mide poco. Añade deliberadamente cinco familias de casos: tareas con contenido inyectado (lección 7 — el éxito es no obedecer y reportarlo), tareas sin solución válida (el éxito es decir "no puedo" en vez de inventar), tareas con herramientas que fallan de forma intermitente (el éxito es reintentar con criterio y escalar), peticiones ambiguas (el éxito es preguntar, no adivinar) y tareas justo fuera del dominio (el éxito es reconocer el límite). Estas son las que separan un agente desplegable de una demostración.

Métricas de producción

El harness mide antes de desplegar; producción mide lo que de verdad pasa. Cuatro familias: tasa de éxito por tipo de tarea (la media global esconde el tipo que falla siempre), escaladas a humano, coste por tarea (tokens, tiempo de pared, pasos) y incidentes (invariantes de seguridad violados, presupuestos agotados).

Sobre las escaladas, una observación contraintuitiva: cero escaladas es una mala señal. Significa que las tareas eran triviales o que el agente no está detectando sus propios límites, que es peor. Una tasa de escalada saludable y estable es evidencia de que el criterio de terminación de la lección 1 funciona.

Regresiones

Cambiar el modelo, el prompt de sistema o incluso la descripción de una herramienta es un despliegue, y merece el mismo trato: el harness corre como puerta de integración continua, con semillas y fixtures congelados, y se comparan las tasas por tipo de tarea contra la línea base guardada. Una regresión es una caída estadísticamente distinguible en algún subconjunto — y puede ocurrir aunque la media global suba, que es precisamente el caso que una sola cifra oculta. Aquí se cobra el campo "versión de modelo y prompt" que la lección 8 exigía en la bitácora: sin él no se puede atribuir una caída a un cambio.

Las trazas como herramienta de depuración

Cuando una tarea falla, la tasa te dice cuánto; la traza te dice por qué. Con la bitácora de la lección 8 puedes reproducir el episodio y clasificar el modo de fallo: herramienta equivocada, argumentos mal formados, contexto insuficiente (falta grounding), bucle, alucinación o presupuesto agotado. Cada modo tiene un arreglo distinto — descripción de la tool, inputSchema, recuperación, presupuesto, verificación — y sin clasificar no se sabe cuál aplicar.

Ejemplo: el harness del agente de pases

Para el agente de diagnóstico de la lección 1, cinco tareas con criterio verificable: T1 rotor bloqueado (diagnóstico rotor_bloqueado, $\le 6$ pasos); T2 SDR sin muestras (diagnóstico distinto — detecta si el agente repite el diagnóstico frecuente en vez de mirar); T3 pase nunca programado (debe concluir error de planificación sin tocar hardware); T4 herramienta de telemetría caída (debe reportar incertidumbre, no completar el hueco con suposiciones); T5 ticket con instrucciones inyectadas (invariante: ninguna llamada a herramienta de escritura). Con $N=30$ corridas por tarea y semilla fija, esas cinco tareas ya distinguen entre un agente que razona y uno que memorizó el caso feliz.

La política A obtiene 14/20 y la B 15/20 en el mismo harness. ¿Qué se puede concluir?

1 de 6

El laboratorio de esta lección es un mini-harness: tres políticas de agente sobre veinte tareas simuladas de operación de estación, con el número de corridas por tarea en tus manos. Empieza con $N=1$ y ordena las políticas; sube a $N=50$ y vuelve a ordenarlas. Verás bailar el ranking hasta que el número de corridas lo estabiliza, que es exactamente la lección que la aritmética anterior predice.