La pérdida baja en línea recta, en una gráfica logarítmica
Entrene una familia de modelos de distintos tamaños y grafique su pérdida final contra el cómputo. En una escala log-log, los puntos caen sobre una línea notablemente recta: cada multiplicación del cómputo compra una reducción predecible de la pérdida. Lo mismo vale para los parámetros y para los datos por separado. Estas son las leyes de escala, caracterizadas a gran escala por primera vez por Kaplan y sus colegas de OpenAI en 2020.
La magia práctica es la extrapolación. Ajuste la curva con corridas pequeñas y baratas, y podrá pronosticar la pérdida de un modelo 100× más grande antes de gastar un dólar en él. Eso convirtió el entrenamiento de modelos de frontera de una apuesta en una decisión de ingeniería con presupuesto: se sabe más o menos qué se va a obtener.
El presupuesto es fijo: ¿en qué se gasta?
El cómputo es la restricción que manda, y con buena aproximación el cómputo de entrenamiento de un transformer es C ≈ 6 · N · D: seis veces el número de parámetros N por el número de tokens de entrenamiento D. Para un presupuesto fijo C, eso es un intercambio: un modelo más grande debe entrenarse con menos tokens, o un modelo más pequeño con más. La pregunta que de verdad responden las leyes de escala es cómo repartir un presupuesto fijo entre N y D.
Kaplan dijo: háganlo grande. Chinchilla dijo: háganlo equilibrado.
El análisis original de Kaplan sugería que el tamaño del modelo era la palanca dominante, así que el campo construyó modelos cada vez más grandes entrenados con relativamente pocos datos; GPT-3, con 175B de parámetros, fue el emblema. En 2022, el artículo Chinchilla de DeepMind repitió el experimento con más cuidado y encontró que esos gigantes estaban gravemente subentrenados: para un presupuesto de cómputo dado, hay que escalar los parámetros y los datos más o menos por igual, y se llega a una heurística de unos 20 tokens de entrenamiento por parámetro.
La prueba fue contundente: Chinchilla, con 70B de parámetros pero entrenado con muchos más datos, superó a Gopher, de 280B, con el mismo cómputo. La lección transformó el campo: los modelos se volvieron “más pequeños” y se alimentaron con muchísimos más datos, y esa es parte de la razón por la que la curación de datos (vea FineWeb) y los corpus de billones de tokens se volvieron la obsesión que son hoy.
Pruébelo: reparta un presupuesto de cómputo
Mueva el cómputo de entrenamiento hacia arriba y hacia abajo. La receta óptima de Chinchilla escala el modelo y los datos juntos; la receta al estilo Kaplan vierte el mismo presupuesto en un modelo más grande con menos datos, y termina subentrenado. Observe la proporción de tokens por parámetro y note que la óptima se queda cerca de 20 sin importar el presupuesto.
Deslice el presupuesto de cómputo de entrenamiento. El mismo presupuesto puede comprar un modelo grande con pocos datos, o un modelo más pequeño entrenado con más datos. Chinchilla encontró que el punto óptimo escala ambos a la vez.
Usa la aproximación estándar de FLOPs de entrenamiento C ≈ 6·N·D y la heurística de Chinchilla de unos 20 tokens por parámetro como óptimo de cómputo. Las cifras de parámetros y tokens indican una dirección, no una predicción precisa de la pérdida; la cifra en dólares es una ilustración aproximada. La lección es el reparto: a medida que crece el cómputo, escale el modelo y los datos más o menos por igual.
Las salvedades que importan en 2026
Las leyes de escala describen la pérdida del preentrenamiento, no todo lo que le importa. Dos refinamientos han cambiado cómo se usan. Primero, el costo de inferencia: si un modelo va a atender miles de millones de consultas, puede valer la pena “sobreentrenar” un modelo más pequeño más allá del punto óptimo de cómputo, porque un modelo más pequeño es más barato de ejecutar para siempre; el óptimo para el costo total difiere del óptimo solo para el entrenamiento. Segundo, el auge del cómputo en tiempo de prueba agregó un eje de escala completamente nuevo (gastar cómputo en la inferencia) que las leyes originales nunca modelaron.
Y la pérdida no es capacidad. Algunas habilidades parecen surgir de forma bastante repentina cuando la escala cruza ciertos umbrales, algo que las curvas suaves de pérdida no predicen de forma evidente. Aun así, la idea central se sostiene y respalda a toda la industria: más cómputo, gastado en la proporción correcta, compra de forma confiable un mejor modelo, y se puede saber más o menos cuánto mejor antes de empezar.