Un modelo aprende el mundo adivinando el siguiente token

El preentrenamiento es autosupervisado, una idea precisa que vale la pena desglosar. No hay un conjunto de datos etiquetado con preguntas y respuestas correctas. La señal de entrenamiento sale gratis del propio texto: se toma un pasaje, se oculta lo que sigue y se le pide al modelo que lo prediga. El verdadero siguiente token ya está en los datos, así que cada fragmento de texto genera millones de problemas de predicción de forma automática.

En concreto, el modelo lee una secuencia de tokens y produce una distribución de probabilidad sobre todo su vocabulario para lo que viene después. Si la oración hasta ahora es La capital de Francia es, un modelo bien entrenado concentra la mayor parte de su probabilidad en París. El objetivo de entrenamiento compara esa distribución predicha con el token real que sigue y ajusta un poco los pesos para que la respuesta correcta sea más probable la próxima vez.

La cantidad que se minimiza es la pérdida de entropía cruzada: a grandes rasgos, la sorpresa promedio del modelo cuando ve el verdadero siguiente token. Si la pérdida baja, el modelo se sorprende menos ante texto real, lo que significa que aprendió regularidades: primero ortografía, luego gramática, luego hechos, luego patrones de razonamiento y luego estilo. Un número muy relacionado, la perplejidad, es simplemente la exponencial de esa pérdida, y a menudo se cita en su lugar porque tiene una lectura intuitiva: “entre cuántos tokens está eligiendo el modelo, en la práctica”.

La curva cae rápido al principio (aprender que el texto es sobre todo palabras comunes y gramática válida es barato) y luego entra en un avance largo y lento en el que cada mejora adicional cuesta desproporcionadamente más cómputo. Esa forma no es un error; es la huella empírica detrás de las leyes de escala, que predicen con exactitud cómo baja la pérdida al agregar parámetros, datos y cómputo. Lo detallamos en la explicación sobre leyes de escala.

Aquí está la parte sutil. Al modelo solo se le optimiza para predecir el siguiente token; sin embargo, para hacerlo bien en todo internet, se ve obligado a construir una maquinaria interna mucho más rica que un autocompletado. Para predecir el siguiente token en la transcripción de una partida de ajedrez, le conviene llevar el registro del tablero. Para predecir el siguiente token después de un problema de matemáticas, le conviene hacer la aritmética. Para predecir el siguiente token de un cuento, le conviene modelar a los personajes y sus intenciones. Las capacidades surgen como efectos secundarios útiles de acertar la predicción.

Por eso un modelo recién preentrenado se llama modelo base: ha absorbido un conocimiento y una competencia enormes, pero su único impulso es continuar el texto de forma verosímil. Hágale una pregunta y quizá la responda, o quizá continúe con tres preguntas más, porque en sus datos de entrenamiento una pregunta suele ir seguida de más preguntas. Sabe muchísimo y no pretende nada.

Como el modelo aprende la distribución de su texto de entrenamiento, la composición de ese texto es la palanca más grande sobre lo que llega a ser. Los corpus modernos de preentrenamiento tienen decenas de billones de tokens, reunidos a partir de rastreos web filtrados, código, libros y fuentes seleccionadas, y luego se deduplican y se filtran por calidad a fondo. El trabajo de FineWeb, que tiene su propia explicación, mostró que filtrar mejor puede superar a simplemente agregar más datos crudos con el mismo presupuesto de cómputo: el proceso de limpieza es parte del modelo, no un detalle menor de preprocesamiento.

También explica los límites. Un modelo base no puede saber lo que faltaba o estaba poco representado en su corpus, y reproducirá fielmente los sesgos, errores y datos desactualizados que contenga. La alucinación es la misma maquinaria funcionando según su diseño: cuando la continuación más verosímil es una invención dicha con aplomo, eso es lo que produce la predicción del siguiente token.

El preentrenamiento consume la inmensa mayoría del cómputo que se invierte en un modelo; las etapas posteriores de alineación son comparativamente diminutas. Esa asimetría de presupuesto tiene una consecuencia: el ajuste fino y el RLHF sobre todo sacan a la luz y moldean capacidades que el preentrenamiento ya creó. Le enseñan al modelo base a comportarse como un asistente útil, a seguir instrucciones y a rechazar solicitudes dañinas, pero rara vez le instalan una habilidad totalmente nueva que el modelo base no pudiera ya aproximar.

Ese es el modelo mental que conviene llevarse: el preentrenamiento decide qué es posible; las etapas de alineación deciden qué es práctico y seguro. Las dos explicaciones siguientes, ajuste fino / SFT y el proceso de RLHF, retoman exactamente donde termina esta: con un modelo base que sabe mucho pero que todavía no sabe que se supone que debe ayudarle.