auto-beta de OpenRouter envía cada instrucción al modelo en el que la comunidad más ha gastado para ese tipo de tarea. Nosotros la enviamos al modelo de menor costo que nuestro banco de pruebas midió como aprobado en esa tarea. Para ver cuánto difieren, tomamos 3 chatbots en producción, pasamos los turnos de cada uno por ambos enrutadores y calificamos ambas respuestas contra la respuesta correcta conocida. Esto fue lo que pasó.
| Chatbot | Turnos | Puntaje nuestro | Puntaje auto-beta | Costo nuestro | Costo auto-beta | Opción más barata |
|---|---|---|---|---|---|---|
| dlr | 25 | 4.8 | 4.56 | USD 0.00363 | USD 0.00097 | auto-beta 3.7× |
| eyesinai | 17 | 4.941 | 5 | USD 0.00581 | USD 0.00177 | auto-beta 3.3× |
| redtangle | 15 | 4.733 | 4.733 | USD 0.00272 | USD 0.00117 | auto-beta 2.3× |
El enrutamiento por cuota de gasto responde «¿qué usan todos los demás para tareas de este tipo?». El enrutamiento medido responde «¿qué modelo demostró aprobar un banco de pruebas con las propias tareas de este cliente?». Nunca coinciden en el modelo (la divergencia es de 100% en cada ronda que hemos hecho) y cuál gana en costo ya ha cambiado en ambos sentidos. En julio, nuestras elecciones medidas fueron 2.4× más baratas en conjunto. En esta actualización de agosto, auto-beta envió la mayoría de los turnos a modelos de la clase gemini-2.5-flash-lite y resultó más barato en los tres bots. El favorito de la comunidad bajó de gama, y la popularidad coincidió con modelos que también aprueban. Ese es el estado actual, dicho con franqueza, y está en esta página porque la comparación se vuelve a ejecutar: una captura de julio seguiría afirmando lo contrario.
Lo que se mantuvo en ambas rondas: la calidad es pareja (los empates dominan cada ronda; aquí 50 de 57 turnos divergentes), y la latencia no lo es: nuestras respuestas enrutadas llegan 2.4× más rápido (1161 ms frente a 2798 ms en promedio), porque el enrutamiento medido responde desde un grupo pequeño y fijo de modelos en lugar de pasar por un mercado intermedio. En un chatbot interactivo, segundos de espera antes del primer token son un defecto del producto, no un error de redondeo. Y la cuota de gasto aún conlleva el riesgo que la medición existe para detectar: la comunidad puede pasarse a un modelo que aprueba una repetición y falla con su tráfico real, el modo de falla que documentamos, con evidencia, en el veto por tráfico real. Nuestro siguiente paso, ya que el enrutador es medido: volver a evaluar los modelos más económicos con las pruebas de cada cliente y dejar que el enrutamiento tome la rebaja de precio solo donde aprueben.
Método: los turnos de cada chatbot, pasados por ambos enrutadores; ambas respuestas calificadas contra la respuesta correcta conocida por el mismo juez de referencia. La opción rival es openrouter/auto-beta, el enrutador de OpenRouter que considera el tipo de tarea, un identificador de modelo distinto del anterior openrouter/auto, que enruta con otro criterio y da una diferencia mucho mayor. Una muestra pequeña y fechada: indica una dirección, no es una garantía. Generado el 2026-08-16.
Esta es una de varias. La comparativa de jueces pregunta si un modelo más económico puede calificar con la misma fiabilidad que uno de primer nivel, y la comparativa de cuantificación de obra pregunta en qué modelos se puede confiar para una cantidad de construcción. Véalas todas, con lo que encontró cada una.