Estamos probando Qwen en una Mac mini

Corremos Qwen3.6-35B-A3B (Q4_K_XL, servido con llama-server) en la Mac mini que ya ejecuta nuestras pruebas. La pregunta no es cuánto ahorra, sino qué puede hacer de verdad el modelo, primero en pruebas cortas y luego con las entradas reales de trabajos que nuestro sistema hace hoy. Cada corrida de Qwen ocurre en la Mac mini, no paga tarifas de API y no cambia nada en producción. Medimos con el razonamiento activado y desactivado por separado. El mismo modelo corre también nuestra prueba nocturna local frente a la nube.

Resultados hasta ahora, actualizados el 4 de noviembre de 2026. Una corrida por configuración, salvo que una fila diga otra cosa.

Hasta ahora

• Llamar una herramienta, en 4 pruebas fáciles de una sola llamada repetidas 5 veces: 20/20 sin razonamiento y 19/20 con razonamiento. El uso de herramientas más difícil, en varios pasos, todavía no se prueba.
• Al resumir 12 lotes reales de alertas, ordenados a ciegas por un juez: las dos configuraciones de Qwen tuvieron peor posición media que los dos modelos en la nube (3.25 y 3.33, frente a 1.08 y 2.33). Algunos de sus errores llamaron normales a advertencias.
• Al clasificar nuestra cola de revisión (197 elementos reales en 17 lotes): con razonamiento, Qwen coincidió con los veredictos que dio Sonnet y que el trabajo aplicó en 168/197 (85%). Sonnet es la referencia, no la verdad, pero nuestra revisión a mano le dio la razón en la mayoría de los casos, así que el trabajo se queda con Sonnet.
• Al extraer datos de 26 correos reales (18 retiros de modelos, 8 parecidos), con calificación exacta contra una clave de respuestas: 25/26 correos perfectos con razonamiento, 24/26 sin razonamiento y 25/26 en una corrida de control de Claude Opus 5.5. Esas cifras iguales esconden una diferencia, explicada en la sección 5. Una sola noche, no una tendencia.

1. Llamar una herramienta

Las pruebas de herramientas de nuestra Deep Suite: 4 pruebas cortas en las que el modelo debe llamar la herramienta correcta con los argumentos correctos, 5 corridas cada una. Son prompts de prueba, no entradas de un trabajo real.

• Con el razonamiento activado hubo un fallo; se quedó sin tokens de salida mientras todavía razonaba.
• Son pruebas fáciles, de una sola llamada. El uso de herramientas en varios pasos, o dentro de un trabajo real, todavía no se mide.
• La fila de modelos de punta es una cifra aproximada de una cuadrícula más pequeña (3 corridas por prueba), así que las filas no son una comparación directa.

2. Resumir alertas

12 lotes reales de nuestras propias alertas de Telegram, resumidos por cada modelo y ordenados a ciegas por un juez (Claude Opus). Cada configuración corrió una vez por lote.

• Qwen sin razonamiento tuvo el tiempo mediano más bajo de los cuatro (2.0 s), y Qwen con razonamiento el más alto (29.8 s). Activar el razonamiento no mejoró la posición media de Qwen (3.25 sin, 3.33 con).
• Sus errores fueron de los que importan en una alerta: llamó "normales" y "estables" a latidos con advertencia, y dijo que el contexto de una sesión "estaba casi lleno" cuando nada lo indicaba.
• Un solo juez, de la misma familia de modelos que Claude Haiku, así que puede favorecer a Haiku. 12 lotes son una muestra pequeña.

3. Clasificar una cola de revisión

Cada lote registrado de nuestra revisión diaria de artículos y correos (17 lotes, 197 elementos reales, del 2026-10-18 al 2026-11-03), repetido con Qwen. Comparamos sus veredictos con los que dio Claude Sonnet y que el trabajo aplicó. Los veredictos de Qwen nunca se aplicaron.

• Sin razonamiento, 2 de 17 lotes volvieron en una forma que el trabajo rechaza (uno se quedó en un ciclo con sus herramientas; uno omitió un elemento). Su 117/191 (61%) todavía cuenta los elementos que devolvió en esos lotes; no hemos calificado por separado solo los lotes utilizables.
• Revisamos a mano los 29 desacuerdos con razonamiento contra las reglas escritas del trabajo: Sonnet tenía razón en unos 20, Qwen en 1, y unos 8 eran discutibles.
• Los veredictos de Sonnet son la referencia, no la verdad. Con razonamiento es lento aquí: una mediana de 98 s por lote.
• Veredicto: este trabajo se queda con Sonnet.

4. Lo que una prueba de etiquetado nos enseñó sobre nuestras etiquetas

Nuestro chatbot etiqueta cada pregunta con un tipo antes de responder. Repetimos las 100 preguntas registradas más recientes (del 2026-10-27 al 2026-11-02) con el prompt de etiquetado real en Qwen, y comparamos cada etiqueta con la que Claude Haiku 5.5 dio en su momento. Nuestro trabajo de sombra horario ya había hecho las mismas 100 preguntas registradas a modelos de pago.

• Esto no es una calificación de Qwen. Claude Haiku 4.5 y gpt-oss-120b también coincidieron con la etiqueta en vivo solo un 36–39% de las veces. Haiku 5.5, preguntado otra vez, repitió su propia etiqueta anterior el 82% de las veces.
• Las preguntas se repiten: las 568 preguntas registradas contienen solo 30 distintas, y 407 son "¿cuál es el modelo mejor calificado para X?". Las 100 filas de la muestra contienen 24 preguntas distintas; de las 24 que se hicieron más de una vez, Haiku en vivo dio más de una etiqueta a 7.
• Qwen devolvió una etiqueta válida en el 100% de sus llamadas, y sus dos corridas sin razonamiento dieron la misma etiqueta el 87% de las veces.
• Lo que concluimos: hay que corregir el conjunto de etiquetas y el tráfico antes de poder calificar con justicia a cualquier modelo en este trabajo.

5. Extraer datos de correos de retiro de modelos

26 correos reales de nuestra bandeja: 18 retiros de modelos que cubren 48 entradas de modelos, más 8 correos parecidos que no son retiros. Cada modelo tuvo que distinguirlos y extraer los ids de modelo, las fechas de cierre y los reemplazos. La calificación es exacta: un id o un reemplazo debe escribirse como lo escribe el correo. Es una sola noche (2026-11-04), no una tendencia, y Claude Opus 5.5 corrió una vez como control.

• Con razonamiento y Opus tienen los mismos conteos, pero esos conteos esconden una diferencia. Los tres fallaron el mismo correo: un aviso que retira 8 modelos y nombra dos reemplazos posibles. Las dos configuraciones de Qwen dijeron que no se nombraba ningún reemplazo, y eso es un fallo real. Opus dio los dos nombres unidos con "or", lo cual es correcto en significado, pero el correo nunca escribe esa cadena, así que la calificación exacta lo reprobó.
• El otro fallo sin razonamiento es un solo id: escribió "k2 series" donde el correo dice "K2 series". La calificación exacta lo cuenta como un id faltante y un id extra incorrecto, y además pierde la fecha y el reemplazo de esa entrada, aunque los dos estaban bien en la respuesta. Si se ignoraran las mayúsculas, el id se aceptaría.
• Los tres devolvieron JSON válido en todos los correos. Los tiempos de Qwen son tiempo transcurrido en la Mac mini: con razonamiento tardó una mediana de 22.2 s por correo, frente a 1.4 s sin razonamiento.
• Un agente de IA escribió la clave de respuestas a partir del texto de los correos, y Codex revisó la clave y el calificador en 7 rondas. Los tres modelos hicieron una prueba rápida de 2 correos antes de las últimas correcciones de la clave, que vinieron de esa revisión. Después la clave se congeló antes de la corrida calificada. El agente es Claude, de la misma familia que el control Opus.
• Opus fue un control de una sola vez: $2.25 a precio de lista, que no es lo que pagamos, así que no se suma a ninguna cifra facturada. Qwen no pagó tarifas de API.

El mismo modelo en pruebas cortas calificadas cada noche, junto a modelos de pago en la nube: modelo local frente a la nube.