Por qué un segundo nivel, más difícil
En la clasificación principal, los modelos de frontera se agrupan cerca de la cima: lo básico ya está resuelto. Eso sirve para enrutar tareas baratas, pero dice poco sobre en qué modelo confiar en el 5% difícil, donde los errores salen caros. La Deep Suite existe para recuperar la señal: es una cascada con compuerta. Un modelo solo se gana una corrida de la Deep Suite si antes aprueba la suite base, así que gastamos las pruebas más costosas y engañosas solo en los modelos que merecen una mirada más profunda.
Los cuatro ejes, cada uno con una trampa
La suite pone a prueba cuatro tipos de presión. Cada prueba trae un modo de falla deliberado:
Una regla de facturación que lleva al total equivocado, un acertijo de caballeros y bribones con exactamente una respuesta consistente, un conteo de fechas con error de uno, una probabilidad condicional que castiga ignorar la condición y un problema de conversión de unidades donde un trabajador ya usa el sistema métrico. La respuesta tentadora siempre es la equivocada.
JSON anidado con escapes literales y un null real, un conflicto deliberado entre instrucciones, una oración restringida sin la letra “e”, CSV RFC-4180 con comas y saltos de línea incrustados, y un formato estricto de 2 decimales que expone el redondeo descuidado. Prueba si un modelo hace exactamente lo que se le pidió.
Varias agujas devueltas en orden, señuelos colocados antes y después de la respuesta real, tres datos muy separados que hay que combinar, y una “corrección” posterior que debe prevalecer sobre un valor anterior.
Elegir la herramienta correcta entre otras parecidas, saber cuándo no llamar a una herramienta, encadenar llamadas dependientes y pedir un argumento faltante en lugar de inventarlo. Se califica sobre las llamadas a herramientas que el modelo emite de verdad, en Anthropic, OpenAI y Google.
Cómo se califica, y por qué puede confiar en ello
- Validadores deterministas para todo lo que se puede comprobar: el número exacto, la fracción reducida, la forma del JSON, el análisis del CSV, las agujas en orden. Nada de impresiones.
- Un juez LLM solo para las dos pruebas genuinamente abiertas (resolver un conflicto entre instrucciones, pedir un argumento faltante), con una rúbrica estricta de aprobado/reprobado.
- Respuestas correctas verificadas: las respuestas de matemáticas, fechas y lógica se comprobaron en código antes de que las pruebas salieran en vivo (la solución de caballeros y bribones, por ejemplo, es demostrablemente única).
- Varias corridas por modelo, reportadas como tasa de aprobación, para que una sola respuesta afortunada no favorezca a un modelo. Son sistemas no deterministas; la varianza entre corridas es parte de la señal.
Lo que mostraron los primeros resultados
La Deep Suite cumplió su función de inmediato: separó modelos que en la clasificación parecen empatados, repartiendo cinco modelos de la cima en un rango de 22 puntos, mientras la clasificación básica los agrupa a todos cerca de lo más alto. En las trampas de razonamiento en particular, un acertijo lógico (caballeros y bribones) hizo tropezar a tres modelos de frontera distintos en cada corrida, mientras otros dos lo resolvieron sin problema: justo la señal específica por tarea que una sola puntuación agregada oculta. Por eso el enrutamiento medido le gana a elegir por reputación: el modelo correcto para una tarea de razonamiento difícil no siempre es el del nombre más grande. Las cifras están en la página de resultados, y se actualizan a medida que corremos más modelos.