El modelo aburrido a menudo gana

En un artículo para Towards Data Science, Ari Joury enfrentó cinco clasificadores al mismo problema: predecir si un partido internacional de futbol termina en victoria local, empate o victoria visitante, a partir de tres variables (la diferencia de fuerza entre los equipos, su fuerza combinada y un indicador de eliminación directa) sobre 358 partidos históricos. El grupo iba desde una modesta regresión logística, pasando por KNN, un bosque aleatorio y una red neuronal pequeña, hasta XGBoost.

Ganó el modelo más simple, y el campeón de Kaggle quedó último. Calificados por log-loss (menor es mejor), este es el podio:

Hay dos cosas que deberían inquietarle. El modelo lineal de una línea obtuvo la mejor puntuación; y XGBoost no solo perdió: obtuvo una puntuación por encima de 1.099, que es el log-loss que obtendría encogiéndose de hombros y prediciendo un tercio parejo para cada uno de los tres resultados. Según la métrica que importa aquí, un modelo con una exactitud de apariencia respetable, del 48%, fue peor que adivinar.

La explicación limpia es el equilibrio entre sesgo y varianza. El error de un modelo fuera de la muestra se divide en tres: sesgo (error por supuestos demasiado rígidos), varianza (error por ajustarse al ruido de la muestra de entrenamiento en particular) y ruido irreducible (la aleatoriedad genuina del fenómeno, enorme en el futbol, donde un tiro desviado decide un partido).

Los modelos de alta capacidad, como los árboles con boosting, consiguen un sesgo bajo porque son lo bastante flexibles para adoptar casi cualquier forma; pero el precio de esa flexibilidad es la varianza, y se cobra cuando no hay suficientes datos para fijar el modelo. Con ~358 ejemplos repartidos en tres clases (≈120 por clase) y un ensamble de XGBoost con miles de parámetros efectivos, simplemente no hay suficiente señal para disciplinarlos a todos. Se aferran a peculiaridades que aparecen en un pliegue de la validación cruzada y desaparecen en el siguiente. Es sobreajuste de libro de texto, y la validación cruzada lo atrapó con las manos en la masa.

Y el modelo lineal no solo era seguro: era la herramienta correcta, porque la relación real es casi lineal en los log-odds (el logaritmo de la razón de probabilidades) (la probabilidad de ganar sube de forma suave con la diferencia de fuerza) y solo hay tres variables con interacciones débiles, así que la maquinaria de los árboles para cazar interacciones no tenía nada que encontrar. Cuando los supuestos integrados de un modelo coinciden con los datos, necesita muchos menos datos para aprender bien.

El desplome de XGBoost por debajo del azar también es una lección sobre en qué número confiar. La exactitud solo pregunta si la clase en primer lugar fue la correcta. El log-loss califica el vector de probabilidades completo y castiga con dureza los errores cometidos con confianza: un 0.5 prudente en la respuesta correcta cuesta 0.69, pero un 0.1 confiado y equivocado cuesta 2.30, más del triple de castigo por estar seguro y equivocado.

Un modelo demasiado flexible con pocos datos no solo comete errores; los comete con convicción: emite probabilidades tajantes de 60–70% y falla en suficientes de ellas como para que la penalización convexa hunda su promedio por debajo de la línea base tímida. El nombre técnico es descalibración confiada, y es la firma de demasiado modelo para muy pocos datos. Empiece por la regla de puntuación propia (proper scoring rule); deje la exactitud como verificación intuitiva. (Es la misma razón por la que calificamos los modelos contra la respuesta correcta conocida con una regla consistente, en lugar de juzgar las respuestas a ojo; vea cómo hacemos las pruebas.)

Cambie “XGBoost frente a regresión logística” por “LLM de frontera frente a un modelo más ligero” y la lección se traslada casi palabra por palabra. El reflejo ante un problema nuevo es recurrir al modelo que gana las tablas de clasificación. A menudo ese reflejo es correcto: en problemas grandes, desordenados y con muchas variables, los modelos más grandes dominan de verdad. Pero en una tarea acotada y bien definida (una clasificación, una búsqueda de un dato, una extracción estructurada corta), el modelo de frontera es el XGBoost de la situación: más capacidad de la que el trabajo necesita, pagada en costo y latencia, sin ninguna calidad medida que lo justifique.

• “El más capaz” no es “el más adecuado”. Lo adecuado de un modelo depende de la tarea, no de su posición en una tabla. La pregunta correcta no es “¿cuál es el mejor modelo?”, sino “¿cuál es el modelo menos costoso que todavía resuelve bien esto?”.
• Mida con la métrica honesta. La exactitud ocultó la falla de XGBoost; una demostración halagadora puede ocultar la de un LLM. Califique contra la respuesta correcta conocida, de forma repetida, con una regla consistente; nuestra tasa de aprobación es esa tarjeta de puntuación.
• Empiece simple; agregue complejidad solo cuando los datos reservados lo justifiquen. El “trace una curva de aprendizaje y encuentre dónde se cruzan las curvas” del artículo es exactamente nuestra lógica de enrutamiento: enviar cada tarea al modelo más ligero que la aprueba y reservar el modelo de frontera para el razonamiento genuinamente difícil que lo necesita.

Esa es toda la premisa del enrutamiento de prompts y del manual contra el impuesto de tokens: la disciplina que elige la regresión logística sobre XGBoost con 358 filas es la disciplina que saca una solicitud rutinaria del modelo de frontera y la pasa a uno más barato, con la misma calidad medida.

Nada de esto es un argumento contra los modelos capaces; es un argumento contra usarlos por reflejo. El artículo plantea el contrapunto honesto: alimente ese mismo XGBoost con decenas de miles de partidos y variables más ricas, y muy probablemente superaría al modelo lineal. Mismo algoritmo, otro régimen de datos, conclusión opuesta. Incluso se podría rescatar a los árboles con pocos datos mediante una regularización disciplinada; pero “igualar al modelo de una sola línea después de un ajuste cuidadoso” es en sí la lección, no un contraejemplo.

La versión para LLM es idéntica: para el razonamiento genuinamente difícil y abierto, el modelo de frontera se gana su precio, y forzar un modelo más ligero en esa tarea es el error opuesto. La disciplina no es “siempre lo pequeño”; es dejar que la medición, no el reflejo, decida dónde cae la línea, y volver a revisarla cuando cambian la tarea o los datos.