Cargando datos de benchmark…
EyesInAI·Cargando datos de benchmark en vivo
Cada noche nuestra Mac mini corre Qwen3.6-35B-A3B en su propio hardware y responde las mismas pruebas calificadas que 4 modelos de pago en la nube (Qwen3.6-35B-A3B (OpenRouter), gpt-oss-120b (Together), Haiku 5.5, Sonnet 5.5). Un programa revisa cada respuesta contra reglas explícitas, no otro modelo. Esta página se reconstruye cada mañana con la última noche, así que es un registro continuo, no una prueba única. Ver también servir modelos locales.
Última corrida: 2 de noviembre de 2026 (UTC) · 1 noche publicada · costo en la nube de la corrida USD 0.19, con un tope nocturno de USD 5
Qwen3.6-35B-A3B (cuantización Q4) en una Mac mini con un Apple M5 Pro y 64 GB de memoria. Cargado, el modelo ocupa unos 22 GB. La respuesta mediana tardó 19.1 s, generando unos 64 tokens por segundo (según el reloj de su propio servidor).
13 pruebas, 3 intentos cada una. Un error, o un intento omitido tras errores repetidos, cuenta como fallo.
| Modelo | Corre en | Aprobadas | Errores | Costo de la corrida | Precio de lista por 1M de tokens (entrada / salida) |
|---|---|---|---|---|---|
| Qwen3.6-35B-A3B (hub, Q4) | Nuestra Mac mini | 35/39 (90%) | 3 | USD 0 en tarifas de API | — |
| Qwen3.6-35B-A3B (OpenRouter) | API en la nube | 39/39 (100%) | 0 | USD 0.06 | USD 0.1 / USD 0.9 |
| gpt-oss-120b (Together) | API en la nube | 39/39 (100%) | 0 | USD 0.01 | USD 0.15 / USD 0.6 |
| Haiku 5.5 | API en la nube | 38/39 (97%) | 0 | USD 0.0066 | USD 0.1 / USD 0.5 |
| Sonnet 5.5 | API en la nube | 38/39 (97%) | 0 | USD 0.11 | USD 2 / USD 10 |
Los costos en la nube son a precio de lista. Una llamada cuyo costo no reportó el proveedor se cuenta por su reserva en el peor caso, así que son cotas superiores, no facturas.
No mostramos los tiempos de respuesta en la nube. Nuestro temporizador de llamadas a la nube se ha estado deteniendo al llegar los encabezados de la respuesta y no la respuesta completa, lo que hizo que un proveedor pareciera unas 15 veces más rápido de lo que es, así que esos tiempos están mal. Los tiempos de la Mac mini de arriba vienen de su propio servidor y no se ven afectados.
| Tipo | Qwen3.6-35B-A3B (hub, Q4) | Qwen3.6-35B-A3B (OpenRouter) | gpt-oss-120b (Together) | Haiku 5.5 | Sonnet 5.5 |
|---|---|---|---|---|---|
| Razonamiento bajo presión (5) | 15/15 | 15/15 | 15/15 | 15/15 | 14/15 |
| Fidelidad de formato (4) | 11/12 | 12/12 | 12/12 | 11/12 | 12/12 |
| Contexto largo (4) | 9/12 | 12/12 | 12/12 | 12/12 | 12/12 |
| Prueba | Qwen3.6-35B-A3B (hub, Q4) | Qwen3.6-35B-A3B (OpenRouter) | gpt-oss-120b (Together) | Haiku 5.5 | Sonnet 5.5 |
|---|---|---|---|---|---|
| reasoning_date_arithmetic | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| reasoning_conditional_probability | 3/3 | 3/3 | 3/3 | 3/3 | 2/3 |
| reasoning_mixed_units | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| reasoning_billing_trap | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| reasoning_knights_knaves | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| format_json_escaping | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| format_constrained_writing | 2/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| format_csv_rfc4180 | 3/3 | 3/3 | 3/3 | 2/3 | 3/3 |
| format_number_rounding | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| longctx_multi_needle | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| longctx_distractor_needles | 0/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| longctx_scattered_facts | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
| longctx_contradiction_override | 3/3 | 3/3 | 3/3 | 3/3 | 3/3 |
Aprobadas sobre intentos, la más reciente primero. * marca una noche que no terminó todos los intentos previstos.
| Corrida (UTC) | Qwen3.6-35B-A3B (hub, Q4) | Qwen3.6-35B-A3B (OpenRouter) | gpt-oss-120b (Together) | Haiku 5.5 | Sonnet 5.5 |
|---|---|---|---|---|---|
| 2 de noviembre de 2026 | 35/39 | 39/39 | 39/39 | 38/39 | 38/39 |
Un experimento aparte: Qwen3.6-35B-A3B en la Mac mini con su razonamiento activado y desactivado, 16 pruebas, 3 intentos cada una. Corrida del 2 de noviembre de 2026 (UTC).
| Ajuste | Aprobadas | Tiempo mediano | Se quedó sin tokens |
|---|---|---|---|
| Razonamiento activado | 47/48 | 16.4 s | 1 |
| Razonamiento desactivado | 35/48 | 0.2 s | 0 |
Desactivar el razonamiento bajó la tasa de aprobación de 98 % a 73 %; la respuesta mediana tardó 0.2 s en lugar de 16.4 s.
13 pruebas cortas, 3 intentos cada una: unos puntos de diferencia pueden ser azar. "USD 0 en tarifas de API" no incluye el precio de la máquina ni la electricidad que consume mientras responde. El modelo local es una copia cuantizada Q4; la copia en la nube del mismo identificador puede no serlo. Aquí no se prueban el uso de herramientas ni la redacción abierta.
13 pruebas de nuestra Deep Suite que un programa puede calificar (razonamiento, formato y recuperación en contexto largo), 3 intentos por modelo cada noche desde la 01:10 hora de la Mac mini, todos los modelos con el mismo presupuesto de salida y el muestreo por defecto de su proveedor, con un tope de USD 5 por noche de gasto en la nube. Una noche cuenta si corrió la suite completa, o se marca como parcial si se detuvo antes (por ejemplo, al llegar al tope); las cifras se reconstruyen a la mañana siguiente.