Cada entrada hace una sola pregunta: ¿puede otro modelo hacer un trabajo que ya hacemos, igual o mejor, por menos? En cada tarea, todos los modelos reciben las mismas entradas reales y la misma instrucción que el modelo en uso, así que el modelo es lo único que cambia. La prueba más reciente va primero.
Jueces de distintos proveedores califican cada respuesta a ciegas, sin ver el nombre del modelo. Una respuesta aprueba una calificación cuando alcanza la nota mínima, tiene el formato correcto y el juez no encontró nada inventado. Una entrada aprueba cuando más de la mitad de sus calificaciones aprueban. Las señales de invención se cuentan aparte, porque un modelo barato que inventa no es un ahorro.
Meta lanzó Muse Spark Open, un modelo de pesos abiertos, y Together AI lo ofreció gratis durante unos días. ¿Podría reemplazar a los modelos Claude que hoy ejecutan las cuatro tareas de IA de este sitio?
meta-models/Muse-Spark-Open-816B-A42B-promo (Meta (via Together AI)) aprobó 11 de 14 entradas con 2 señales de invención, a USD 1.99 por cada 1,000 llamadas.
| Modelo | Proveedor | Aprobadas | Calificaciones aprobadas | Señales de invención | Costo por 1k llamadas | Tiempo mediano |
|---|---|---|---|---|---|---|
| meta-models/Muse-Spark-Open-816B-A42B-promo | Meta (via Together AI) | 11/14 | 22/28 | 2 | USD 1.99 | 2.8 s |
| claude-haiku-5-5en uso | Anthropic | 10/12 | 21/24 | 1 | USD 0.25 | 2.3 s |
| claude-sonnet-5-5en uso | Anthropic | 1/2 | 3/4 | 0 | USD 8.48 | 3.2 s |
| Modelo | Resumen público de modelos | Análisis de artículos (interno) | Chat del editor (interno) | Configuración de enrutamiento (interna) |
|---|---|---|---|---|
| meta-models/Muse-Spark-Open-816B-A42B-promo | 6/6 | 1/3 | 2/3 | 2/2 |
| claude-haiku-5-5 | 4/6en uso | 3/3en uso | 3/3en uso | — |
| claude-sonnet-5-5 | — | — | — | 1/2en uso |
Sin cambios. Muse Spark Open obtuvo mejores calificaciones que Claude Haiku 5.5 en el resumen público de modelos, pero la mayoría de los fallos de Haiku allí fueron líneas en blanco en una respuesta que pide exactamente tres líneas, y el sitio ya elimina las líneas en blanco al mostrar el resumen. Muse quedó atrás en el análisis de artículos, donde no respetó la forma pedida en un artículo, y en el chat del editor. A su precio de pago también cuesta más que Haiku en esas tres tareas. Le fue bien en la configuración de enrutamiento, pero esa tarea tuvo solo dos entradas, y el plan para ella sigue siendo repetir la prueba cuando esté activa la pasarela que lleva las llamadas a proveedores distintos de Anthropic. La decisión de esta prueba es no agregar Muse a ninguna tarea recurrente.
Contar exactamente la mitad de las calificaciones como aprobado cambiaría claude-haiku-5-5 de 10/12 a 11/12, claude-sonnet-5-5 de 1/2 a 2/2.
Consistencia de los jueces: cada juez calificó cada respuesta una sola vez, así que no se midió si un juez repite su propio veredicto. Los jueces coincidieron entre sí 26 de 28 veces en la ronda 1.
Nota mínima: 4 de 5. 2 jueces calificaron las respuestas en hasta 1 ronda; la columna de calificaciones muestra cuántas recibió realmente cada modelo. El costo es el costo medido a precio de lista de cada respuesta, promediado por llamada.
Los chatbots de esta prueba responden primero con un modelo de pesos abiertos y recurren a un modelo Claude cuando falla o se omite. ¿Deben esos respaldos pasar de Claude Haiku 4.5 y Claude Sonnet 4.6 a Claude Haiku 5.5 y Claude Sonnet 5.5? Cada modelo respondió las mismas preguntas reales de visitantes, con las mismas instrucciones del bot y el mismo contenido recuperado del sitio.
claude-sonnet-5-5 (Anthropic) aprobó 22 de 39 entradas con 6 señales de invención, a USD 13.60 por cada 1,000 llamadas.
| Modelo | Proveedor | Aprobadas | Calificaciones aprobadas | Señales de invención | Costo por 1k llamadas | Tiempo mediano |
|---|---|---|---|---|---|---|
| claude-sonnet-5-5 | Anthropic | 22/39 | 57/78 | 6 | USD 13.60 | 4.0 s |
| claude-sonnet-4-6 | Anthropic | 17/39 | 46/78 | 10 | USD 14.47 | 5.2 s |
| claude-haiku-5-5 | Anthropic | 16/39 | 43/78 | 11 | USD 0.64 | 2.3 s |
| claude-haiku-4-5-20251001en uso | Anthropic | 10/39 | 34/78 | 22 | USD 3.84 | 3.5 s |
| Modelo | Bot de cliente: educación | El asistente de este sitio | Bot de demostración (datos de negocio de muestra) | Bot de cliente: alquiler de espacios de trabajo | Bot de cliente: construcción, en español |
|---|---|---|---|---|---|
| claude-sonnet-5-5 | 5/7 | 0/8 | 6/8 | 6/8 | 5/8 |
| claude-sonnet-4-6 | 3/7 | 1/8 | 4/8 | 6/8 | 3/8 |
| claude-haiku-5-5 | 2/7 | 0/8 | 6/8 | 6/8 | 2/8 |
| claude-haiku-4-5-20251001 | 3/7en uso | 2/8en uso | 2/8en uso | 2/8en uso | 1/8 |
El 2026-10-16 los respaldos Claude de los chatbots pasaron a la generación 5.5: Claude Haiku 4.5 a Claude Haiku 5.5 y Claude Sonnet 4.6 a Claude Sonnet 5.5. Los bots que tenían ambos conservaron ambos, en el mismo orden. Esa decisión se tomó con una comparación previa a ciegas, lado a lado, de estas mismas respuestas por un solo juez. Esta entrada las vuelve a calificar con las reglas de esta página. Con todas las preguntas juntas, cada modelo 5.5 aprueba más respuestas que el modelo al que sustituyó, pero no en todos los bots: Claude Haiku 5.5 aprobó menos que Claude Haiku 4.5 en el asistente de este sitio y en el bot de educación, y Claude Sonnet 5.5 aprobó menos que Claude Sonnet 4.6 en el asistente de este sitio. La tabla por bot muestra cada caso. Claude Sonnet 5.5 también aprueba más respuestas que Claude Haiku 5.5, con un precio por respuesta mucho mayor. El bot de construcción usa Claude Sonnet 5 como respaldo, que no se probó aquí, así que no cambió. El mismo cambio abarcó también dos bots que no estaban en esta prueba. Uno de ellos usa un modelo Claude como modelo principal, y ese modelo no se cambió porque aún no tiene una prueba propia.
Contar exactamente la mitad de las calificaciones como aprobado cambiaría claude-sonnet-5-5 de 22/39 a 35/39, claude-sonnet-4-6 de 17/39 a 29/39, claude-haiku-5-5 de 16/39 a 27/39, claude-haiku-4-5-20251001 de 10/39 a 24/39.
Consistencia de los jueces: cada juez calificó cada respuesta una sola vez, así que no se midió si un juez repite su propio veredicto. Los jueces coincidieron entre sí 106 de 156 veces en la ronda 1.
Nota mínima: 4 de 5. 2 jueces calificaron las respuestas en hasta 1 ronda; la columna de calificaciones muestra cuántas recibió realmente cada modelo. El costo es el costo medido a precio de lista de cada respuesta, promediado por llamada.
Cuatro partes de este sitio llaman a un modelo. ¿Deben seguir con los modelos Claude que usaban, pasar a modelos Claude más nuevos o pasar a OpenAI o Google?
gpt-5.6-luna (OpenAI) aprobó 14 de 14 entradas con 0 señales de invención, a USD 0.32 por cada 1,000 llamadas.
| Modelo | Proveedor | Aprobadas | Calificaciones aprobadas | Señales de invención | Costo por 1k llamadas | Tiempo mediano |
|---|---|---|---|---|---|---|
| gpt-5.6-luna | OpenAI | 14/14 | 54/56 | 0 | USD 0.32 | 2.3 s |
| gpt-5.6-terra | OpenAI | 14/14 | 55/56 | 1 | USD 3.36 | 2.3 s |
| claude-haiku-5-5 | Anthropic | 12/14 | 48/56 | 0 | USD 0.28 | 2.1 s |
| gemini-3.5-flash-lite | 10/14 | 41/56 | 4 | USD 0.61 | 1.3 s | |
| claude-sonnet-5-5 | Anthropic | 9/14 | 19/28 | 0 | USD 6.48 | 3.4 s |
| gemini-3.8-flash | 9/14 | 41/56 | 7 | USD 1.34 | 3.6 s | |
| claude-haiku-4-5-20251001en uso | Anthropic | 5/12 | 24/48 | 9 | USD 1.77 | 2.5 s |
| claude-sonnet-4-6en uso | Anthropic | 0/2 | 0/8 | 0 | USD 13.52 | 9.5 s |
| Modelo | Resumen público de modelos | Análisis de artículos (interno) | Chat del editor (interno) | Configuración de enrutamiento (interna) |
|---|---|---|---|---|
| gpt-5.6-luna | 6/6 | 3/3 | 3/3 | 2/2 |
| gpt-5.6-terra | 6/6 | 3/3 | 3/3 | 2/2 |
| claude-haiku-5-5 | 5/6 | 2/3 | 3/3 | 2/2 |
| gemini-3.5-flash-lite | 6/6 | 3/3 | 1/3 | 0/2 |
| claude-sonnet-5-5 | 2/6 | 3/3 | 2/3 | 2/2 |
| gemini-3.8-flash | 5/6 | 1/3 | 2/3 | 1/2 |
| claude-haiku-4-5-20251001 | 2/6en uso | 0/3en uso | 3/3en uso | — |
| claude-sonnet-4-6 | — | — | — | 0/2en uso |
Ese mismo día, las tres tareas de Haiku 4.5 pasaron a Claude Haiku 5.5 y la configuración de enrutamiento pasó a Claude Sonnet 5.5. Fue un paso provisional que se queda en Anthropic, porque la pasarela que llevará las llamadas a OpenAI y Google aún no está activa. Cuando lo esté, el plan es repetir esta prueba y luego pasar el resumen y el análisis a gpt-5.6-luna y la configuración de enrutamiento a gpt-5.6-terra. Esta prueba dejó una decisión más: la verificación en sombra de los bots ya no recurre a un modelo Gemini Flash. gemini-3.8-flash, el sucesor obvio del retirado gemini-2.5-flash, está en la tabla de arriba, y sus aprobadas y sus señales de invención lo descartan.
Contar exactamente la mitad de las calificaciones como aprobado cambiaría claude-haiku-5-5 de 12/14 a 13/14, gemini-3.5-flash-lite de 10/14 a 11/14, claude-sonnet-5-5 de 9/14 a 10/14, gemini-3.8-flash de 9/14 a 12/14, claude-haiku-4-5-20251001 de 5/12 a 6/12.
Consistencia de los jueces: entre rondas, un juez dio el mismo aprobado o reprobado a la misma respuesta 157 de 168 veces. Los jueces coincidieron entre sí 71 de 84 veces en la ronda 1 y 87 de 98 veces en la ronda 2.
Nota mínima: 4 de 5. 2 jueces calificaron las respuestas en hasta 2 rondas separadas; la columna de calificaciones muestra cuántas recibió realmente cada modelo. El costo es el costo medido a precio de lista de cada respuesta, promediado por llamada.