Convertir un modelo base en un asistente

Un modelo base recién salido del preentrenamiento es un motor de siguiente token. Si le pregunta algo, puede que responda, o puede que escriba cinco preguntas más, o que se desvíe a un ensayo sin relación: todas son continuaciones plausibles de texto de internet. Tiene el conocimiento, pero no la noción de que se supone que debe ser útil, honesto e inofensivo. El trabajo de RLHF es instalar esa noción sin dañar la capacidad de fondo.

Primero, personas escriben (o curan) desde unos pocos miles hasta unas decenas de miles de conversaciones de ejemplo de alta calidad: un prompt y una respuesta ideal del asistente. El modelo base se ajusta con ellas de la forma supervisada habitual: predecir el siguiente token de quien hizo la demostración. Esto por sí solo recorre la mayor parte del camino hacia un asistente: el modelo ahora responde por defecto en lugar de continuar.

El SFT se cubre a fondo en la explicación sobre ajuste fino. El problema es que escribir demostraciones es caro y solo alcanza a cubrir cierto terreno. Le enseña al modelo cómo se ve una buena respuesta, pero no le enseña con facilidad el criterio más fino de cuál de dos respuestas aceptables es mejor. Para eso se necesita una señal más barata que las personas producen mucho mejor: la comparación.

Las personas no son confiables para escribir la respuesta perfecta, pero sí para juzgar cuál de dos respuestas prefieren. Así que el proceso recopila exactamente eso: para un prompt dado, se muestrean dos (o más) respuestas del modelo SFT y una persona marca cuál es mejor. Cada comparación etiquetada es un par de preferencia: un juicio pequeño, barato y consistente.

Luego se entrena un modelo de recompensa aparte con estos pares. Recibe un prompt y una respuesta y devuelve una sola puntuación escalar, y se entrena para que la respuesta preferida por la persona en cada par puntúe más alto que la rechazada. Tras suficientes pares, el modelo de recompensa ha destilado los juicios de muchas personas en una función que puede calificar automáticamente cualquier respuesta nueva: un sustituto de “¿cuánto le gustaría esto a una persona?”.

Ahora el ciclo se cierra. El modelo SFT (la política) genera respuestas, el modelo de recompensa las califica y un algoritmo de aprendizaje por refuerzo (clásicamente PPO, Proximal Policy Optimization) actualiza la política para producir respuestas con mayor puntuación. Repítalo sobre muchos prompts y el modelo se desplaza hacia las salidas que las personas prefieren: más claras, más útiles, con mejor formato, más dispuestas a rechazar solicitudes dañinas.

Una salvaguarda crítica: una penalización por divergencia KL evita que la política se aleje demasiado del modelo SFT original. Sin ella, el aprendizaje por refuerzo descubrirá con gusto galimatías degenerados de alta recompensa que explotan las rarezas del modelo de recompensa: la falla clásica de reward hacking (hackeo de la recompensa). La penalización dice “maximice la recompensa, pero siga siendo reconociblemente el modelo con el que empezó”.

Construir y operar un modelo de recompensa aparte más un ciclo completo de aprendizaje por refuerzo es delicado y exige mucho cómputo. Direct Preference Optimization (DPO, 2023) mostró que a menudo se puede omitir. DPO usa los mismos datos de pares de preferencia, pero demuestra que existe una función de pérdida de forma cerrada que se puede optimizar directamente sobre la política y que logra el mismo objetivo: sin modelo de recompensa explícito, sin el ciclo de aprendizaje por refuerzo que genera y califica respuestas, solo entrenamiento de estilo supervisado sobre los pares.

Como es más simple, más estable y más barato, DPO y sus derivados se han convertido en el método de alineación predeterminado para muchos modelos abiertos y de frontera. RLHF con PPO todavía se usa, sobre todo cuando un modelo de recompensa explícito se reutiliza para muchos objetivos, pero “entrenar con pares de preferencia” hoy a menudo significa DPO por debajo. La historia conceptual no cambia: las personas comparan, se aprende una señal de preferencia y el modelo se dirige hacia ella.

La utilidad, el tono, el comportamiento de rechazo, el seguimiento de instrucciones y la mayor parte de lo que los usuarios perciben como la “personalidad” de un modelo se moldean en esta etapa. Constitutional AI (Anthropic) amplía la idea haciendo que el modelo critique y revise sus propias respuestas contra un conjunto escrito de principios, lo que reduce la necesidad de etiquetas humanas sobre contenido dañino. El entrenamiento de los modelos de razonamiento detrás de o1/R1 se construye sobre la misma base, aplicando aprendizaje por refuerzo a trazas de razonamiento calificadas por modelos de recompensa de proceso (vea la explicación sobre cómputo en tiempo de prueba).

El hilo conductor: el preentrenamiento decide lo que el modelo puede hacer; el proceso de RLHF decide lo que elige hacer cuando usted le habla.