El cuello de botella de una sola respuesta
Un modelo estándar produce su respuesta en una sola pasada de izquierda a derecha: lee el prompt y emite la respuesta. Cada token de cómputo que gasta es también un token de salida. Para un problema difícil de varios pasos (una pregunta de matemáticas de competencia, una demostración complicada, un error repartido en varios archivos) es como exigir la respuesta final sin hoja de borrador. El modelo tiene el conocimiento, pero no tiene espacio para trabajar.
Pedir en el prompt una cadena de pensamiento (“piensa paso a paso”) fue la primera grieta: dejar que el modelo escriba su razonamiento en voz alta, como tokens, y la precisión en problemas difíciles sube, porque los tokens intermedios son la hoja de borrador. El cómputo en tiempo de prueba es la versión sistemática y entrenada de esa idea.
El intercambio central: tokens de inferencia a cambio de precisión
El hallazgo central es una ley de escalado propia: en tareas con mucho razonamiento, la precisión sube de forma continua a medida que se deja que el modelo genere más tokens de razonamiento antes de comprometerse con una respuesta. Un modelo de razonamiento puede emitir miles de tokens ocultos de “pensamiento” (explorando enfoques, revisándose, retrocediendo) y solo entonces escribir una respuesta final breve. Literalmente se compra exactitud con cómputo de inferencia.
Esto replantea el costo. Un modelo de razonamiento puede ser mucho más caro por consulta de lo que sugiere su tamaño, porque la factura crece con cuánto piensa, no solo con lo grande que es. También replantea la elección del modelo: para buscar un dato sencillo, pagar por razonamiento extendido es puro desperdicio; para un problema genuinamente difícil, un modelo más pequeño que piensa más tiempo puede superar a uno más grande que responde al instante. Ese intercambio es justo lo que una buena capa de enrutamiento debería medir.
Modelos de recompensa de proceso: calificar el razonamiento, no solo la respuesta
Entrenar a un modelo para que razone bien requiere una señal sobre cómo llegó al resultado, no solo sobre si la respuesta final fue correcta. Un modelo de recompensa de resultado califica la respuesta final; un modelo de recompensa de proceso (PRM) califica cada paso del razonamiento. El resultado de OpenAI de 2023 “Let's Verify Step by Step” mostró que supervisar cada paso supera a supervisar solo el resultado, porque una respuesta correcta alcanzada con un razonamiento defectuoso enseña la lección equivocada, y un PRM lo detecta.
Con un PRM se puede hacer más que entrenar: en inferencia se pueden generar varios caminos de razonamiento y quedarse con el que el PRM califica más alto, o guiar una búsqueda por el espacio de pasos de razonamiento. Aquí entran ideas como el muestreo best-of-N, la autoconsistencia (muestrear muchas cadenas y tomar la respuesta mayoritaria) y la búsqueda en árbol o tipo MCTS sobre los pasos de razonamiento: todas, formas distintas de convertir cómputo de inferencia adicional en una respuesta mejor verificada.
Cómo se entrenan realmente o1 y R1
Los modelos que marcaron el avance llevaron esto más lejos con aprendizaje por refuerzo directamente sobre el razonamiento. En lugar de imitar razonamientos escritos por personas, el modelo recibe recompensa por las trazas de razonamiento que llevan a respuestas correctas y verificables: matemáticas con soluciones comprobables, código que pasa las pruebas. A lo largo de muchas rondas descubre sus propias estrategias de razonamiento eficaces: revisar su trabajo, considerar alternativas, dedicar más pensamiento a los problemas más difíciles. DeepSeek-R1 mostró de forma notable que un razonamiento sólido podía surgir en gran parte del aprendizaje por refuerzo con recompensas verificables, sobre los fundamentos de alineación que cubre la explicación sobre RLHF.
Lo que cambia para usted
Tres consecuencias prácticas. Primero, la latencia y el costo ahora dependen de la tarea de una forma nueva: un modelo de razonamiento puede tardar muchos segundos y muchos tokens en un prompt difícil, así que no es un reemplazo directo para cada llamada. Segundo, los tokens de “pensamiento” suelen estar ocultos o resumidos, lo que significa que paga por cómputo que no puede ver por completo; los benchmarks tienen que tomarlo en cuenta. Tercero, la jugada correcta suele ser una configuración por niveles: un modelo rápido para el tráfico fácil y un modelo de razonamiento en reserva para los casos difíciles que de verdad se benefician.
La conclusión en una línea: el escalado no se detuvo en el entrenamiento. El cómputo en tiempo de prueba agregó un segundo control, y saber cuándo subirlo (y cuándo subirlo es solo quemar dinero) ahora es parte de usar bien los modelos.