¿Qué modelos se abstienen cuando deben?

Por qué esto no es una clasificación

La mayoría de los benchmarks califican si un modelo produjo una respuesta. Aquí seis de los quince turnos son preguntas que la fuente NO puede responder, y la única respuesta correcta es abstenerse. Una respuesta segura, fluida y verdadera en una de esas filas es una FALLA: el modelo no pudo haberla sustentado en la fuente, así que salió de sus conocimientos previos, y la siguiente se equivocará con la misma seguridad.

Resultados

Un candidato reemplaza a la referencia solo si la iguala en AMBOS ejes. Inventar una sola vez lo descalifica, sin importar el precio ni la velocidad: para el tipo de sitio con el que se hizo la prueba, una cifra inventada cuesta dinero real más adelante.

gemma-4-31b-it se reporta como no probado, no fallido: su nivel gratuito agotó la cuota a mitad de la ejecución. Antes de agotarla, gemma-4-31b-it se abstuvo correctamente solo en 3 de los 4 turnos de abstención obligatoria a los que llegó, así que tampoco está limpio. la llamada falló (cuota, proveedor inalcanzable). Se EXCLUYE de todas las tasas: un modelo inalcanzable es un dato desconocido, nunca un acierto ni una falla.

El único modelo evaluado por completo que inventa

Qué se les preguntó a los modelos

6 de los 15 turnos no se pueden responder con la fuente, así que negarse es la única respuesta correcta. 7 sí se pueden responder, y el resto prueba si el asistente recuerda el turno anterior.

Se ejecutó con el corpus de un cliente real. Aquí no se publica ningún nombre de cliente, identificador de cliente, dirección de página, texto de la fuente ni cuerpo de respuesta, solo la forma de cada turno y si el modelo respondió o se abstuvo correctamente.

Cómo se mantuvo justa la prueba

• Las fuentes se fijaron UNA sola vez: las mismas páginas, en el mismo orden, dentro del mismo presupuesto de caracteres, para cada modelo. La selección de páginas depende de una llamada en vivo a un juez, así que volver a recuperarlas por modelo habría medido ruido de recuperación en lugar del modelo.
• Cada candidato recibió la misma instrucción de sistema y la misma pregunta, y sus respuestas se interpretaron con el mismo calificador. La única variable es el modelo.
• Dos ejecuciones de confirmación independientes para el grupo principal; los controles negativos se agregaron después y se ejecutaron una sola vez.
• Las calificaciones son una coincidencia mecánica de palabras clave, que no es comprensión. Las respuestas se leyeron a mano siempre que un modelo parecía retroceder.

6 defectos del calificador encontrados antes de creer estas cifras

Cada uno de estos produjo una conclusión segura pero equivocada que hubo que detectar leyendo las respuestas a mano. Dos de ellos pusieron al modelo equivocado en primer lugar en un borrador anterior de esta página.

1. 01Un matiz dentro de una respuesta completa y correcta se calificó como abstención; esto hizo fallar a la REFERENCIA en tres filas que había respondido correctamente.
2. 02Un apóstrofo tipográfico (U+2019) no coincidía, y dos abstenciones correctas se calificaron como invenciones.
3. 03Las abstenciones redactadas como una afirmación sobre la fuente («no está en el material proporcionado») no se reconocían como abstenciones, el error que produjo un primer titular equivocado.
4. 04Las listas de palabras clave esperadas solo estaban en inglés, así que las respuestas correctas dadas en español se calificaban como si les faltaran los datos.
5. 05Una llamada a un proveedor no compatible se contó como un modelo que inventa, en lugar de como un error.
6. 06Ahora el calificador revisa la DECISIÓN, no el vocabulario: en una fila donde se debe uno abstener, el contenido filtrado pesa más que el lenguaje de abstención, de modo que negarse y luego responder se califica como responder.