Bake-off de jueces: ¿puede un modelo más barato hacer el trabajo?

El valor por token es nuestro primer principio, así que no damos por hecho que un modelo más pequeño sea suficiente: lo medimos. Aquí tomamos una tarea real que nuestro propio sistema hace con un modelo de punta y preguntamos si modelos más baratos y rápidos llegan a los mismos veredictos. Misma tarea, mismas entradas, mismo prompt: la única variable es el modelo. Esta es una comparativa directa (bake-off).

Lea esta ejecución de forma acotada: la referencia señaló una falla en las 16 preguntas de prueba, así que el conjunto no tenía ninguna pregunta bien respondida. Muestra qué jueces detectan una falla como lo hace la referencia. No prueba si un juez da falsas alarmas ante una buena respuesta, así que el 100% aquí no significa «tan preciso como la referencia».

Cada candidato, calificado contra la referencia

«Coincidencia» = proporción de preguntas de prueba en las que el modelo llegó al mismo veredicto (respondió o evadió) que la referencia, contada sobre las preguntas en las que devolvió un veredicto legible; las ilegibles aparecen como «err». Un juez sin ningún veredicto legible aparece como no medido: es una llamada o un análisis fallido, no un juez con 0%. Un juez que señala bastantes más fallas que la referencia es demasiado estricto: da falsas alarmas, que es la dirección costosa en una auditoría.

Dónde discreparon los modelos

La parte honesta: 1 de 16 preguntas de prueba dividieron a los jueces. = «respondió», = «señaló una falla».