bakeoff 2026-08-15 15:27
vigente| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
Qwen/Qwen3-235B-A22B-Instruct-2507 deepinfra | 1/27 | 0 | 0 | — | 7 | 4.5k | 163.2s |
Cuantificación de obra (takeoff): llenar un presupuesto mexicano de 27 partidas a partir de planos DXF y un estudio de suelo, dejando una celda en blanco en lugar de inventar una cifra. La mayoría de los benchmarks premian a un modelo por producir una respuesta. Este no: una celda en blanco suele ser correcta, porque los planos de verdad no respaldan una cifra. Lo que medimos es si los números que un modelo sí da son confiables.
Resultados generados el 15/08/2026 a partir del registro de ejecuciones. Esta página lee el mismo JSON que escribe el harness, así que no puede desviarse de lo que realmente se midió.
una cantidad SIN fuente citada: un número fabricado
una cifra REAL y bien medida aplicada al ALCANCE EQUIVOCADO (p. ej., el límite del predio usado para un concepto limitado a una zona). Más peligrosa que un valor inventado: la cita es genuina, así que todas las demás verificaciones pasan.
el propio validador del motor rechazó la respuesta (p. ej., importe != cantidad × precio unitario). DESCALIFICA y es invisible en todos los demás campos: una corrida así puede mostrar el mayor `filled` con invented=0 y scope_violations=0.
cualquier valor inventado, violación de alcance o rechazo del validador descalifica, sin importar el costo ni el número de partidas llenadas
No ordene por `filled`. Descalifique primero por invented / scope_violations / validator_rejected y solo después compare costo y latencia entre los candidatos que sobreviven. Un candidato con filled=0 no aprobó: se abstuvo, lo cual está sin probar, no es seguro. Las cifras de coincidencia solo son tan sólidas como la corrida de referencia: revise la entrada correspondiente en `reference_runs` para ver cuántas partidas llenó la propia referencia antes de confiar en una coincidencia alta.
Solo un candidato de pesos abiertos (open-weight) queda libre de descalificación, y llena muy poco para cambiarnos a él, así que nos quedamos en nuestro stack. Se sometieron dos a un bake-off con el prompt congelado. Qwen3-235B no inventó nada y no cometió ninguna violación de alcance en todas sus ejecuciones, y llenó entre 0 y 4 de 27 partidas: limpio, pero con un llenado pequeño e irregular. gpt-oss-120b tampoco inventó nada y fue más rápido y barato, pero en varias de sus ejecuciones marcó una cantidad como verificada a partir de una capa del límite del predio: un área real aplicada al alcance equivocado, lo cual es una violación de alcance y lo descalifica según la regla. Ser más rápido y barato no sobrevive a una violación de alcance.
Lea las cifras de llenado frente a la referencia, no de forma aislada. La referencia opus-5 no es un blanco estable: sus ejecuciones llenan entre 1 y 5 de 27 partidas, así que coincidir con una sola ejecución de referencia es una señal débil, y con un máximo de 5 partidas llenadas, ninguna referencia demuestra todavía que algún modelo llene correctamente un presupuesto completo cuando los planos sí respaldan una cifra. Lo que esta ejecución establece es el modo de falla, no una clasificación.
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
Qwen/Qwen3-235B-A22B-Instruct-2507 deepinfra | 1/27 | 0 | 0 | — | 7 | 4.5k | 163.2s |
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
openai/gpt-oss-120b together | 4/27 | 0 | 0 | — | 25 | 9.9k | 237.9s |
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
Qwen/Qwen3-235B-A22B-Instruct-2507 deepinfra | 1/27 | 0 | 0 | — | 28 | 6.1k | 273.8s |
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
openai/gpt-oss-120b together | 4/27 | 0 | 0 | — | 25 | 9.3k | 69.2s |
Qwen/Qwen3-235B-A22B-Instruct-2507 deepinfra | 3/27 | 0 | 0 | — | 27 | 6.0k | 270.0s |
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
openai/gpt-oss-120b together | 0/27 | 0 | 0 | — | 30 | 8.6k | 56.0s no llenó nada |
Qwen/Qwen3-235B-A22B-Instruct-2507 deepinfra | 1/27 | 0 | 0 | — | 15 | 5.1k | 333.1s |
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
openai/gpt-oss-120b together | 0/27 | 0 | 0 | — | 29 | 6.0k | 40.5s no llenó nada |
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
openai/gpt-oss-120b together | 8/27 | 0 | 1 | — | 7 | 10.9k | 81.0s |
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
openai/gpt-oss-120b together | 3/27 | 0 | 2 | — | 26 | 10.0k | 63.1s |
Qwen/Qwen3-235B-A22B-Instruct-2507 deepinfra | 0/27 | 0 | 0 | — | 3 | 4.1k | 189.8s no llenó nada |
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
Qwen/Qwen3-235B-A22B-Instruct-2507 deepinfra | 4/27 | 0 | 0 | — | 7 | 5.1k | 125.7s |
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
openai/gpt-oss-120b together | 3/27 | 0 | 1 | — | 27 | 11.1k | 79.7s |
Se conserva como registro. Esta ejecución es anterior a una corrección del auditor de alcance, que marcaba un concepto que las reglas sí permiten medir con el límite del predio, así que las violaciones de alcance que se muestran aquí pueden no ser reales. Lea la ejecución vigente de arriba.
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
claude-opus-5 anthropic | 1/27 | 0 | 0 | — | 14 | 12.5k | 138.7s |
Se conserva como registro. Esta ejecución es anterior a una corrección del auditor de alcance, que marcaba un concepto que las reglas sí permiten medir con el límite del predio, así que las violaciones de alcance que se muestran aquí pueden no ser reales. Lea la ejecución vigente de arriba.
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
gemini-3.6-flash gemini | 1/27 | 0 | 0 | — | 6 | 4.2k | 46.7s |
gpt-5.4-2026-03-05 openai | 5/27 | 0 | 0 | sí | 27 | 5.6k | 41.0s respuesta rechazada |
llama-3.3-70b-versatile groq | 0/27 | 0 | 0 | — | 3 | 2.9k | 5.7s no llenó nada |
kimi-for-coding kimi-cli · suscripción | 4/27 | 0 | 3 | — | 13 | null | 110.7s |
Se conserva como registro. Esta ejecución es anterior a una corrección del auditor de alcance, que marcaba un concepto que las reglas sí permiten medir con el límite del predio, así que las violaciones de alcance que se muestran aquí pueden no ser reales. Lea la ejecución vigente de arriba.
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
gemini-3.6-flash gemini | 1/27 | 0 | 0 | — | 23 | 6.0k | 51.5s |
gpt-5.4-2026-03-05 openai | 4/27 | 0 | 3 | — | 19 | 4.5k | 31.0s |
llama-3.3-70b-versatile groq | 0/27 | 0 | 0 | — | 29 | 4.5k | 8.4s no llenó nada |
Se conserva como registro. Esta ejecución es anterior a una corrección del auditor de alcance, que marcaba un concepto que las reglas sí permiten medir con el límite del predio, así que las violaciones de alcance que se muestran aquí pueden no ser reales. Lea la ejecución vigente de arriba.
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
kimi-for-coding kimi-cli · suscripción | 4/27 | 0 | 3 | — | 12 | null | 101.5s |
La base contra la que se miden los candidatos: el mismo harness ejecutado en nuestro propio stack. Se incluye porque un bake-off sin control es solo una lista de números.
Todas las ejecuciones de referencia son posteriores a la corrección del auditor de alcance. Ninguna muestra violaciones de alcance. Note también la dispersión: las ejecuciones de referencia llenan de 1 a 5 de 27 partidas (6 de ellas llenan 4), que es el techo contra el que se mide toda cifra de coincidencia de esta página.
| Modelo | Llenadas | Inventadas | Alcance | Rechazada | Hallazgos | Salida | Latencia |
|---|---|---|---|---|---|---|---|
claude-opus-5 agent-sdk · suscripción | 4/27 | 0 | 0 | — | 13 | 11.7k | 131.9s |
claude-opus-5 agent-sdk · suscripción | 4/27 | 0 | 0 | — | 33 | 14.5k | 163.8s |
claude-opus-5 agent-sdk · suscripción | 4/27 | 0 | 0 | — | 19 | 15.6k | 191.9s |
claude-opus-5 agent-sdk · suscripción | 4/27 | 0 | 0 | — | 14 | 13.3k | 146.0s |
claude-opus-5 agent-sdk · suscripción | 4/27 | 0 | 0 | — | 16 | 14.0k | 155.3s |
claude-opus-5 agent-sdk · suscripción | 5/27 | 0 | 0 | — | 16 | 15.8k | 180.3s |
claude-opus-5 agent-sdk · suscripción | 3/27 | 0 | 0 | — | 18 | 15.6k | 175.7s |
claude-opus-5 agent-sdk · suscripción | 4/27 | 0 | 0 | — | 13 | 13.6k | 159.4s |
claude-opus-5 agent-sdk · suscripción | 1/27 | 0 | 0 | — | 12 | 10.9k | 125.5s |
claude-opus-5 agent-sdk · suscripción | 1/27 | 0 | 0 | — | 16 | 11.8k | 134.4s |
Cada cifra de esta página sale de un solo archivo JSON, servido de forma abierta para que usted lo verifique o lo grafique por su cuenta.
Este es uno de varios. El bake-off de jueces pregunta si un modelo más barato puede calificar con la misma confiabilidad que uno de punta, y la comparación de enrutadores pregunta si nuestro enrutamiento supera al automático de OpenRouter. Véalos todos, con lo que encontró cada uno.