El benchmark dijo que sí. El tráfico real dijo que no.

Nuestro action-bench vigila cada tipo de tarea que atiende el asistente de un cliente y se pregunta de forma continua: ¿hay un modelo más barato que apruebe este trabajo? El 2026-08-16, para el asistente administrativo de DLR, tenía una respuesta segura: pasar nueve acciones de claude-sonnet-4-6 a gpt-oss-120b y ahorrar 43–80% por acción. La evidencia era tan limpia como puede serlo la evidencia sintética: 100% de aprobación en cada una de las nueve suites, con puntuaciones del juez en un 5.0 perfecto o muy cerca.

Entonces corrió la segunda capa. Antes de aplicar cualquier cambio, el candidato se califica contra los turnos recientes de producción del propio modelo en uso: preguntas reales de uso real, calificadas por el mismo juez de referencia contra la respuesta que de verdad se entregó. En 409 turnos reales, el candidato obtuvo entre 1.0 y 2.0 de 5. El modelo en uso obtuvo 5.0 en los mismos turnos. Se retuvieron todas las recomendaciones. No se confirmó ninguna.

Lea una fila en voz alta para sentir la trampa: open-invoices prometía −79.8% con un historial sintético impecable, y entregó 1.0 de 5 en los 27 turnos reales que habría respondido. El tablero se habría quedado en verde (costo a la baja, pruebas aprobadas) mientras el producto se rompía sin hacer ruido.

La suite sintética no es mala. Está hecha de formas de tarea reales, la califica un juez que calibramos por separado, y el candidato de verdad la aprobó. La brecha es estructural: una suite es una muestra de una carga de trabajo, y el tráfico de producción es la carga de trabajo, con la ambigüedad, las preguntas de seguimiento, la redacción desordenada y la cola larga de casos que ningún autor de suites pensó en incluir. Un modelo puede ser bueno con la muestra y malo con la distribución. La única forma de detectarlo es calificarlo sobre la distribución, que es exactamente lo que hace la capa de veto, usando como examen los turnos que atendió el modelo en uso.

Por eso mismo el veto no es una razón para saltarse el benchmarking sintético. La suite encuentra a los candidatos que vale la pena probar y detecta regresiones todos los días a bajo costo; el veto es la última compuerta antes de que entren en juego dinero real y usuarios reales. Filtro barato, confirmación cara: la misma arquitectura que cualquier buen proceso de pruebas.

Correr una evaluación sobre su propia carga de trabajo se está volviendo una categoría de producto: Ori Eval de OpenRouter califica modelos contra su base de código por 10–30 dólares por corrida, Supabase publicó un benchmark abierto de agentes de programación sobre tareas reales de Supabase, y cada boletín de proveedor le dice ahora que las clasificaciones públicas no predicen su caso de uso. Tienen razón, y nosotros llevamos tiempo diciendo lo mismo: es la premisa fundacional de este sitio.

Pero cada una de las nueve filas de arriba habría aprobado una evaluación única de la carga de trabajo. El candidato sí la aprobó: 100%, con formas de tarea tomadas de la misma carga de trabajo para la que se le estaba contratando. Un ranking producido una sola vez, por muy personalizado que sea, es una fotografía; el tráfico es una película. La protección vino de las partes que un producto de una sola corrida no tiene: el benchmark corrió de forma continua, el candidato se calificó sobre los turnos en vivo que iba a heredar, y el cambio no podía aplicarse mientras ambos no coincidieran. Una medición que no puede decirle “no” a un ahorro no es medición: es una justificación de compra.

De la tabla de arriba salen tres reglas que sirven en cualquier lado. Primera, aprobar una prueba sintética es una hipótesis, no un veredicto: trate cualquier evaluación, incluida la nuestra, como el motivo para correr una confirmación, nunca como la confirmación. Segunda, califique a los candidatos sobre el tráfico atendido: los turnos reales del modelo en uso son el único examen que de verdad corresponde al trabajo, y repetirlos cuesta unos cuantos dólares frente al precio real de una regresión. Tercera, conecte el veto al interruptor: una recomendación de la que una persona tiene que acordarse de desconfiar terminará por aplicarse; la nuestra la retiene el mismo sistema que la aplicaría, así que la contradicción bloquea el cambio de forma mecánica.

Notas de método: las puntuaciones del juez van de 1 a 5 contra la referencia de la respuesta atendida, con el mismo juez de referencia en ambos lados; los turnos reales por acción están en la tabla (409 en total). La instantánea de la que se genera esta página está guardada junto a ella en el repositorio: cuando una corrida posterior del analista cambie el panorama, las cifras de aquí cambian con ella, o la página está mal y la corregimos.