Un chatbot de soporte, enrutado al modelo adecuado para cada tarea: 31.3% de ahorro, con la misma exactitud.

No confiamos en una sola ejecución ni en una puntuación de clasificación. Para cada una de las 11 acciones que realiza el chatbot, escribimos tareas con los datos reales que vería el modelo y la respuesta correcta que debería dar. Luego ejecutamos cada modelo candidato en cada tarea 10 veces (1,650 respuestas en total) y un modelo independiente y potente calificó cada una contra la respuesta correcta conocida.

• Repetición en lugar de una sola ejecución. Una buena respuesta puede ser suerte. Diez ejecuciones por tarea revelan qué modelos aciertan de forma constante.
• Calificado contra la respuesta correcta. Un modelo “aprueba” una tarea solo cuando un juez independiente le da ≥4 de 5 frente a la respuesta correcta conocida, no por intuición.
• Costo registrado por tarea. Se registra el costo real en tokens de cada respuesta, así que podemos calcular con exactitud el costo de cada decisión de enrutamiento.

Exactitud en las 11 acciones, ordenada. Observe que el modelo más potente no está muy por delante de uno de pesos abiertos mucho más económico en el trabajo rutinario:

Juez: claude-opus-4-7. Aprobado = puntuación ≥ 4/5 frente a la respuesta correcta, promediada en las 11 acciones.

El entregable no es “use este modelo”. Es un mapa, acción por acción, del modelo más económico que todavía aprueba. La mayoría de las acciones se enrutan a un modelo ligero y rápido; solo las tareas de razonamiento realmente difíciles necesitan el premium.

Esta cifra no salió de una hoja de cálculo con precios de lista. Salió de pasar el trabajo por nuestra consola de revisión (la misma herramienta que aplicamos a cada cliente), que hace tres cosas que una clasificación no puede:

• Evaluó el propio entorno del agente, no solo los modelos. La referencia cara aquí no era una llamada directa a una API: era trabajo que corría por el Claude Agent SDK. La consola trata todo ese entorno como un candidato y lo mide contra modelos de API de menor costo en exactamente las mismas tareas calificadas, respondiendo la pregunta que de verdad ahorra dinero: ¿qué trabajo de agentes puede pasar a un modelo de menor costo con la misma calidad?
• Calculó el ahorro de dos formas honestas. La cifra principal se calcula como equivalente con cobro por uso (comparable con otros modelos de API); la consola también registra el gasto real de la suscripción, que con la caché y el costo de los ciclos del entorno resulta bastante mayor. Se muestran ambos, así que es un ahorro que puede presentar a un equipo de finanzas.
• Se puede repetir. Cuando sale un modelo nuevo o cambian las tareas del chatbot, la revisión se vuelve a ejecutar y la tabla de enrutamiento se actualiza: el ahorro no se pierde en silencio cuando cambia el panorama de modelos.

Ese último punto importa más cada trimestre: el uso de SDK de agentes está pasando de una suscripción de precio fijo a créditos con cobro por uso, así que un trabajo que hoy parece gratis pronto tendrá un costo por llamada. Saber de antemano qué parte se puede reenrutar sin problemas es lo que define el resultado. Cómo funciona la revisión

• El modelo más potente no es el más rentable en todos los casos: solo 1 de 11 acciones necesitó de verdad el modelo más caro.
• Un modelo de pesos abiertos (gpt-oss-120b) fue la mejor opción de enrutamiento para 8 de 11 acciones, superando a los modelos de frontera en exactitud por dólar.
• Con un conjunto de tareas deliberadamente más difícil, los modelos sí se separaron: las tasas de aprobación fueron del 80% al 95%, así que las decisiones de enrutamiento se basan en diferencias medidas, no en empates.
• Dos tareas revelaron una respuesta de referencia ambigua con la que batallaron la mayoría de los modelos; la detectó el control de calidad del conjunto de pruebas, en lugar de culpar a los modelos.
• El enrutamiento por acción redujo el costo combinado de los modelos en un 31.3% frente a ejecutar todo en el modelo más potente, sin pérdida de exactitud medible.

La cifra de 31.3% de esta página se calcula a partir de una evaluación real: 5 modelos × 33 tareas × 10 ejecuciones, 1,650 respuestas calificadas. A propósito no nombramos al cliente ni mostramos sus datos; el método y las cifras son reales, los detalles del cliente se quedan en privado. Cuando una tarea es demasiado ambigua para que cualquier modelo la responda de forma confiable, nuestro proceso la marca como un problema de la respuesta de referencia que hay que corregir, no como culpa de un modelo.