Haiku 4.5 frente a Haiku 5.5 en nuestras propias tareas pequeñas

Nuestro sistema ejecuta varias tareas pequeñas y frecuentes con Claude Haiku. Antes de pasarlas de Haiku 4.5 a Haiku 5.5 ejecutamos ambos con las mismas entradas congeladas, con el mismo prompt y el mismo parser que usa cada tarea en producción. La única variable es el modelo. Cada tarea se califica contra algo distinto de las respuestas anteriores de 4.5, porque esas favorecerían a 4.5 por construcción.

Ejecutada el 9 de octubre de 2026 · 3 ejecuciones · costo total USD 0.60 · sin razonamiento extendido en ambos

Lo que encontró

• Intérprete: Haiku 5.5 eligió el modelo correcto según la regla en el 88.3% de las llamadas y Haiku 4.5 en el 45%. La misma elección en ambas ejecuciones: 96.7% de los casos con 5.5, 70% con 4.5.
• En las tres tareas de calificación (rúbrica, revisión del bot y aprobado/reprobado de respuestas), con la ejecución más reciente de la rúbrica, los dos quedaron a 1.7 puntos o menos entre sí. En ninguna ejecución de la rúbrica dejó alguno pasar una respuesta que debía reprobar.
• En la ejecución 1 de la rúbrica, Haiku 5.5 quedó 8.3 puntos por debajo de 4.5, con 6 de sus llamadas con error.
• Puntajes exactos de 1 a 5 que coinciden con la referencia: Haiku 4.5 75.9%, Haiku 5.5 62.1%. 5.5 quedó siempre a un punto o menos de la referencia. En promedio, 5.5 puntuó 0.17 puntos menos que la referencia.
• Etiquetas de intención: Haiku 5.5 coincidió con la referencia de Sonnet 5 en el 52% de las llamadas y 4.5 en el 41%. Frente a las etiquetas registradas en producción fue 82% para 4.5 y 56% para 5.5, pero esas etiquetas las escribió el propio 4.5, así que esa fila no puede elegir un ganador.
• Filas en las que 4.5 quedó adelante: Veredictos correctos (ejecución 1 de 2); Llamadas con error (ejecución 1 de 2); Mismo veredicto real todas las veces, por par (ejecución 1 de 2); Mismo veredicto real todas las veces, por par (ejecución 2 de 2); Exactamente el puntaje de la referencia.

Cada tarea, medida por medida

«n» es el número de entradas. Cada entrada se ejecutó de una a tres veces por modelo (vea el método abajo), y los porcentajes y conteos son sobre esas llamadas; «misma en ambas ejecuciones» es por entrada. Una llamada sin respuesta legible cuenta como incorrecta en las filas de rúbrica e intención y se deja fuera de las filas del puntuador de respuestas.

Haiku 5.5 también está en el bake-off de jueces, que mide su costo. Vea todos los bake-offs, con lo que encontró cada uno.