El modelo le da las probabilidades; el muestreo toma la decisión

La salida en bruto del modelo para la siguiente posición es un vector de logits: una puntuación sin normalizar por cada token del vocabulario. Los logits pueden ser cualquier número real y no suman nada en particular. Para convertirlos en una distribución de probabilidad se aplica la función softmax: se eleva cada logit a la exponencial y se divide entre el total. Los logits más grandes se convierten en probabilidades más grandes, todo es positivo y todo suma uno.

Si siempre eligiera el único token de mayor probabilidad, estaría haciendo decodificación voraz (greedy decoding): totalmente determinista, con el mismo prompt produciendo siempre la misma salida. Suena deseable, pero en la práctica el texto voraz es plano, repetitivo y propenso a ciclos. El muestreo introduce aleatoriedad controlada, y los controles de abajo deciden cuánta.

La temperatura es un solo número entre el que se dividen los logits antes del softmax. Divida entre un número pequeño (temperatura < 1) y las brechas entre logits crecen: la distribución se afila hacia el token principal, y el modelo se vuelve más seguro y repetitivo. Divida entre un número grande (temperatura > 1) y las brechas se reducen: la distribución se aplana, da una oportunidad real a los tokens improbables y produce un texto más sorprendente (y más propenso a errores).

Con temperatura 1.0 se muestrea de las creencias en bruto del modelo, sin tocarlas. Con temperatura 0 se reduce a la decodificación voraz. Este es el primer control al que la gente recurre: bajo para la extracción de datos y el código, más alto para la lluvia de ideas y la escritura creativa.

La temperatura reforma toda la distribución, pero incluso una distribución aplanada tiene una larga cola de tokens sin sentido que nunca querría ver elegidos. Dos reglas de truncamiento recortan esa cola antes del muestreo:

Top-k conserva solo los k tokens de mayor probabilidad y renormaliza sobre ellos: un tope fijo de cuántos candidatos sobreviven. Es simple pero tosco: k=40 conserva 40 tokens tanto si el modelo está muy seguro (cuando bastarían 2) como si de verdad duda (cuando 40 son muy pocos).

Top-p (muestreo de núcleo, o nucleus sampling) es en cambio adaptativo. Conserva el conjunto más pequeño de tokens principales cuyas probabilidades sumen al menos p (digamos 0.9) y renormaliza sobre ese núcleo. Cuando el modelo está seguro el núcleo es diminuto; cuando duda, el núcleo se amplía solo. Por eso top-p es el valor por defecto más común. Los dos suelen combinarse.

Abajo hay un conjunto fijo de logits del siguiente token para el prompt “El clima de hoy está…”. Los logits nunca cambian; solo cambia cómo se selecciona un token entre ellos. Suba la temperatura y vea cómo las barras se emparejan. Baje top-p y vea cómo la cola larga queda tachada (excluida) y los sobrevivientes se renormalizan. Baje la temperatura a cero para ver la decodificación voraz elegir siempre el único token principal.

La configuración de muestreo es la palanca de calidad más barata que tiene, y la que más se usa mal. Una tarea de recuperación o extracción que necesita una salida fiel y repetible debe correr cerca de temperatura 0: ahí la aleatoriedad solo fabrica inconsistencias que luego tiene que defender. Una tarea creativa o de generación de ideas ahogada a temperatura 0 se sentirá robótica y se repetirá en ciclos. Y la reproducibilidad de las evaluaciones depende de ello: si hace un benchmark a temperatura 1.0, está midiendo una distribución de salidas, no una salida fija, y por eso nuestra metodología de pruebas fija la configuración de decodificación en cada corrida.

El modelo mental que conviene conservar: el modelo pone las probabilidades; la temperatura las reforma, top-k y top-p recortan la cola, y solo entonces se extrae un único token. Cada rareza de “¿por qué dijo eso?” empieza aquí.