Cargando datos de benchmark…
EyesInAI·Cargando datos de benchmark en vivo
Claude Code permite elegir el modelo y cuánto esfuerzo dedica. Esta corrida pone cada combinación de Haiku, Sonnet y Opus 5.5 con esfuerzo bajo, medio y alto en las mismas 24 tareas de código de la comparativa de agentes de programación, calificadas con pruebas ocultas que el agente nunca vio.
Datos al 15 de octubre de 2026 · 216 ejecuciones de agente en 24 tareas · USD 43.75 a precio de lista por las ejecuciones comparadas (con una suscripción)
Tareas aprobadas de las 24 que terminaron todas las combinaciones, por modelo (filas) y esfuerzo (columnas).
| bajo | medio | alto | |
|---|---|---|---|
| Claude Haiku 5.5 | 20/24 | 21/24 | 20/24 |
| Claude Sonnet 5.5 | 21/24 | 19/24 | 21/24 |
| Claude Opus 5.5 | 20/24 | 21/24 | 23/24 |
| Modelo y esfuerzo | Aprobadas | Fáciles | Reales | Difíciles | Falso TERMINADO | Sin tiempo | Tiempo mediano | Tokens de razonamiento (mediana) | Costo a precio de lista |
|---|---|---|---|---|---|---|---|---|---|
| Opus 5.5 · alto | 23/24 | 6/6 | 10/10 | 7/8 | 1 | 0 | 54s | 935 | USD 13.04 |
| Haiku 5.5 · medio | 21/24 | 6/6 | 8/10 | 7/8 | 3 | 0 | 48s | 1,827 | USD 0.93 |
| Sonnet 5.5 · bajo | 21/24 | 6/6 | 8/10 | 7/8 | 3 | 0 | 32s | 141 | USD 3.23 |
| Sonnet 5.5 · alto | 21/24 | 6/6 | 8/10 | 7/8 | 3 | 0 | 42s | 359 | USD 4.74 |
| Opus 5.5 · medio | 21/24 | 6/6 | 8/10 | 7/8 | 3 | 0 | 54s | 480 | USD 9.81 |
| Haiku 5.5 · bajo | 20/24 | 6/6 | 7/10 | 7/8 | 4 | 0 | 32s | 1,128 | USD 0.57 |
| Haiku 5.5 · alto | 20/24 | 6/6 | 7/10 | 7/8 | 4 | 0 | 70s | 6,560 | USD 1.85 |
| Opus 5.5 · bajo | 20/24 | 6/6 | 8/10 | 6/8 | 4 | 0 | 37s | 134 | USD 6.43 |
| Sonnet 5.5 · medio | 19/24 | 6/6 | 7/10 | 6/8 | 5 | 0 | 32s | 224 | USD 3.15 |
Aprobar significa pasar todas las pruebas ocultas. Falso TERMINADO: el agente dijo que había terminado, pero fallaron pruebas ocultas. Las ejecuciones se detuvieron a los 25 minutos. – significa que la cifra no se pudo leer en todas las ejecuciones.
aprobada fallida, declarada TERMINADO fallida, declarada no terminada llegó al límite de 25 minutos error del arnés◇ falló solo una prueba más estricta (ver abajo)? falta el registro de calificación
| Tarea | Haiku bajo | Haiku medio | Haiku alto | Sonnet bajo | Sonnet medio | Sonnet alto | Opus bajo | Opus medio | Opus alto |
|---|---|---|---|---|---|---|---|---|---|
| Piloto fácil. Cuatro errores públicos y dos tareas sintéticas. | |||||||||
| more-itertools | |||||||||
| humanize | |||||||||
| boltons | |||||||||
| click | |||||||||
| error sintético de causa raíz | |||||||||
| función sintética + CLI | |||||||||
| Reales reconstruidas. Código propio que reproduce errores hallados en revisiones de código anteriores. Se publican solo numeradas. | |||||||||
| Real-world 1 | ◇ | ◇ | ◇ | ◇ | |||||
| Real-world 2 | |||||||||
| Real-world 3 | |||||||||
| Real-world 4 | |||||||||
| Real-world 5 | |||||||||
| Real-world 6 | ◇ | ◇ | ◇ | ||||||
| Real-world 7 | |||||||||
| Real-world 8 | |||||||||
| Real-world 9 | |||||||||
| Real-world 10 | |||||||||
| Errores públicos difíciles. Errores reales de networkx, pyparsing, sqlglot, lark y flask. | |||||||||
| networkx: conectividad | |||||||||
| networkx: ISMAGS | |||||||||
| networkx: vistas débiles | |||||||||
| sqlglot: literal BD | |||||||||
| pyparsing: coincidencia con lo anterior | |||||||||
| pyparsing: repetición acotada | |||||||||
| lark: copia interactiva | |||||||||
| flask: IPv6 | |||||||||
Dos pruebas ocultas exigen más de lo que pide el texto del problema. Las mantuvimos, porque una corrección cuidadosa debería pasarlas, y una ejecución que falla una sigue contando como fallo. Van marcadas ◇ para que puedas descontarlas.
Otros agentes en las mismas tareas: comparativa de agentes de programación. Ajustes de razonamiento en solicitudes de soporte: comparativa de razonamiento. Todas las corridas que publicamos: todas las comparativas.