Cargando datos de benchmark…
EyesInAI·Cargando datos de benchmark en vivo
La clasificación principal responde “¿puede un modelo hacer lo básico, y a bajo costo?”. Esta es la siguiente pregunta: cuando un modelo supera ese umbral, ¿cómo se sostiene bajo presión? La Deep Suite es un nivel más difícil y lleno de trampas (cada prueba trae incorporada una respuesta equivocada tentadora) que solo corre en los mejores modelos, para separar a los que apenas aprueban de los que de verdad razonan. Cada resultado de abajo es una tasa de aprobación sobre 3 ejecuciones, calificada con validadores deterministas (y un juez LLM para las preguntas abiertas).
Lea la explicación para ver cómo se diseñan las trampas · parte de la metodología medida de EyesInAI.
| Prueba | GPT-5 | Gemini | Sonnet | Opus | GPT-4o |
|---|---|---|---|---|---|
Tres agujas, devueltas en el orden del documento longctx_multi_needle · multi_needle_ordered | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Ignorar los señuelos; elegir el único ticket “activo” longctx_distractor_needles · exact_number | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Combinar tres datos muy separados entre sí longctx_scattered_facts · exact_number | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Una corrección posterior prevalece sobre el valor anterior longctx_contradiction_override · exact_number | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| Prueba | GPT-5 | Gemini | Sonnet | Opus | GPT-4o |
|---|---|---|---|---|---|
JSON anidado con escapes, null y valores exactos format_json_escaping · json_schema_strict | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Resolución de instrucciones en conflicto (abierta → con juez) format_conflicting_constraints · rubric | 2/3 | 3/3 | 3/3 | 3/3 | 0/3 |
Oración de 12 palabras, “lift” dos veces, sin la letra e format_constrained_writing · constraint_regex | 3/3 | 2/2 | 1/3 | 2/3 | 0/3 |
CSV RFC-4180 con comas, comillas y salto de línea incrustado format_csv_rfc4180 · csv_parse_strict | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Formato estricto de cadena con 2 decimales después de impuestos format_number_rounding · json_exact | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| Prueba | GPT-5 | Gemini | Sonnet | Opus | GPT-4o |
|---|---|---|---|---|---|
Elegir la herramienta correcta entre otras parecidas tool_selection_correct · tool_call_match | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Saber cuándo NO llamar a una herramienta tool_abstention · no_tool_call | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Encadenar llamadas donde la salida de una alimenta la siguiente tool_sequential_dependency · tool_call_sequence | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Pedir un argumento obligatorio faltante en lugar de inventarlo tool_missing_param · rubric | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| Prueba | GPT-5 | Gemini | Sonnet | Opus | GPT-4o |
|---|---|---|---|---|---|
Conteo de fechas con error de uno reasoning_date_arithmetic · exact_date | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Probabilidad condicional contraintuitiva reasoning_conditional_probability · exact_fraction | 3/3 | 3/3 | 3/3 | 0/3 | 0/3 |
Trampa de conversión de unidades (un trabajador ya usa el sistema métrico) reasoning_mixed_units · exact_number | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 |
Aritmética anclada con un número engañoso reasoning_billing_trap · exact_number | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Satisfacción de restricciones con caballeros y bribones reasoning_knights_knaves · exact_sequence | 3/3 | 3/3 | 3/3 | 3/3 | 0/3 |
Una puntuación baja en una prueba es un hallazgo, no un veredicto: estas pruebas son adversariales a propósito. El valor está en el patrón: qué modelo resiste y dónde. Cada prueba corre 3 veces para que una sola aprobación con suerte no favorezca a un modelo. Generado el 26 de octubre de 2026.