Comparativa de niveles de Claude: ¿qué solicitudes necesitan Opus de verdad?

Switchyard puede enviar cada tipo de solicitud a un modelo de Claude distinto: una pregunta rápida a Haiku, un análisis difícil a Opus. Eso solo ahorra dinero si el mapa de tipo de solicitud a modelo es correcto, y el primer mapa se escribió a mano. Así que lo medimos: cada tipo de solicitud, cada modelo, los mismos problemas, y el modelo más barato que supera el umbral se queda con el tipo. Los costos de esta página son costos medidos por token, como se cobra una llave de API. Un modelo más barato no reduce la cuota mensual de un plan Pro o Max. Sí puede reducir el uso adicional pagado que esos planes ofrecen más allá de sus límites, que se cobra a tarifas de API.

Tasa de aprobación por tipo de solicitud

Cada celda son 15 respuestas calificadas (5 problemas, 3 ejecuciones cada uno). Una respuesta aprueba con 4 o más sobre 5. Un modelo supera un tipo cuando aprueba al menos el 95 % de sus respuestas; el modelo más barato que lo supera se queda con el tipo.

Puntaje promedio sobre 5 en las 120 respuestas de cada modelo: Haiku 5.5 4.59 · Sonnet 5.5 4.74 · Opus 5.5 4.89.

Lo que cuesta cada mapa

Costo de las respuestas por cada 1,000 solicitudes, con los 8 tipos en partes iguales. No incluye el costo del juez: es el costo de medir, no de atender. Por tipo, Opus costó entre 33 y 195 veces lo que costó Haiku.

Dónde falló Haiku

Haiku falló 8 respuestas, en 5 de los 40 problemas. Sonnet y Opus no fallaron ninguna. Las razones de abajo son las del juez, resumidas. La mayoría son errores claros: una fecha de entrega equivocada, un límite de palabras rebasado. Una celda depende de un solo problema: todos los fallos de «resumir un ticket» fueron en acme-summarize-2, con el mismo error en cada ejecución.

• acme-code-5· Código· falló 1 de 3 ejecuciones

  Los valores finales eran correctos, pero primero mostró valores incorrectos en negritas antes de corregirse.

• acme-order-status-1· Estado del pedido· falló 1 de 3 ejecuciones

  Contó mal los días hábiles a través de un fin de semana, con una ventana de entrega del 12 al 14 de octubre en lugar del 13 al 15, y añadió texto donde solo se pedía JSON.

• acme-order-status-4· Estado del pedido· falló 2 de 3 ejecuciones

  El contenido era correcto, pero la respuesta rebasó el límite de 80 palabras (el juez contó entre 90 y 103).

• acme-summarize-2· Resumir un ticket· falló 3 de 3 ejecuciones

  Registró la instrucción del agente (cargar 4 horas y mantener presionado 3 segundos) como algo que el cliente ya había hecho. El cliente dijo que lo cargó toda la noche y mantuvo presionado el botón, sin confirmar cuánto tiempo.

• acme-writing-5· Redacción· falló 1 de 3 ejecuciones

  Unas 64 palabras con un límite de 60, y además afirmó que «se recarga rápido», algo que las especificaciones del producto no respaldan.