Qué es en realidad un LLM: un autocompletado con esteroides

LLM = Large Language Model, modelo de lenguaje grande. Grande: tiene cientos de miles de millones de ajustes internos y se entrenó con una enorme porción de internet. De lenguaje: todo su mundo es texto: palabras, código, símbolos. Modelo: un buscador de patrones matemático, una máquina estadística de adivinar muy poderosa.

Todo lo que hace un LLM nace de una habilidad modesta: adivinar qué viene después. Dele a su cerebro “El cielo está ___” y al instante le ofrece azul, despejado, nublado, y los ordena (azul le gana a espagueti). Un LLM hace exactamente eso, pero para cada palabra de su vocabulario a la vez, y le asigna a cada una una probabilidad:

Después de "El cielo está…"  (ilustrativo)
azul       ████████████████████████████  62%
despejado  ████████                       18%
nublado    █████                          12%
cayendo    ██                              5%
espagueti  ▌                               1%

Elige una palabra (por lo general una probable, con una pizca de azar para dar variedad), la agrega y repite: siguiente palabra, siguiente palabra, siguiente palabra. Una miles y obtiene ensayos, código y correos. Esa “pizca de azar” es un control real que usted puede ajustar; la explicación de temperatura y muestreo le deja moverlo y ver cómo cambia la distribución.

Antes de predecir nada, el modelo corta el texto en tokens: trozos que pueden ser una palabra completa, parte de una palabra o un solo carácter. Piensa enteramente en tokens y en los números asociados a ellos. cat es un token; unbelievable podrían ser tres (un·believ·able); una página de texto (~500 palabras) son unos 650 tokens (regla práctica en inglés: 1 palabra ≈ 1.3 tokens).

Un modelo en bruto recién salido de la línea de ensamblaje no sirve de nada: es un cerebro sin recuerdos. Tres etapas lo convierten en un asistente:

1. Preentrenamiento: “leer internet”. Se le da una cantidad enorme de texto y predice el siguiente token miles de millones de veces, absorbiendo gramática, datos y patrones de razonamiento. Es lento y caro: esto es lo “grande”. A fondo →
2. Ajuste fino supervisado: “aprender a ser un asistente”. Personas escriben conversaciones de ejemplo; el modelo aprende el formato de ser útil. A fondo →
3. RLHF: “aprender lo que la gente prefiere”. Personas califican respuestas; el modelo se empuja hacia lo que a la gente le gusta y lejos de lo dañino. Es el pulido que lo hace sentir amable y seguro. A fondo →

No hay una base de datos de hechos ni una carpeta de respuestas. Todo lo que el modelo aprendió está comprimido en parámetros: miles de millones de “perillas” numéricas (pesos), ajustadas un poquito durante el entrenamiento hasta que el modelo predice bien. Un LLM entrenado es un resumen comprimido y con pérdida de todo lo que leyó, como un JPEG borroso de internet.

Por eso a los LLM se les llama cajas negras: ni siquiera quienes los construyen pueden señalar una perilla y decir “ahí guarda la capital de Francia”. El conocimiento está repartido entre miles de millones de números que trabajan juntos. (El entrenamiento es también donde usted puede cambiar esas perillas para su propia tarea; vea cómo entrenar un modelo abierto).

Como la única habilidad real de un LLM es generar texto que suene plausible, a veces producirá algo con total seguridad y completamente equivocado. Esto es una alucinación, y es una característica de cómo funciona la predicción, no un error al azar. El modelo no tiene noción de la verdad; predice palabras que encajan, y un dato equivocado puede encajar con la misma soltura que uno correcto. El título de un libro falso tiene estadísticamente la misma forma que uno real.

Entender la maquinaria lo vuelve mucho mejor para usarla. Cuatro principios que se desprenden directamente de cómo funcionan los LLM:

1. Dé un contexto rico. El modelo solo “sabe” lo que está en la conversación más su entrenamiento: más detalle relevante, mejores predicciones.
2. Sea específico sobre el resultado. Pida el formato, el tono, la extensión y el público. “Explícalo como si tuviera 12 años, en 3 viñetas” le gana a “explica esto”.
3. Itere. Trátelo como un ir y venir; afine la respuesta como guiaría a un compañero de equipo con poca experiencia.
4. Verifique lo importante. Redacte y piense con él; compruebe todo lo que tenga consecuencias en el mundo real.

1. Un LLM es un predictor gigante de la siguiente palabra: un autocompletado con esteroides.
2. Lee en tokens, no en palabras ni en letras.
3. Se entrena en tres etapas: preentrenamiento → ajuste fino → retroalimentación humana.
4. Su “conocimiento” vive en miles de millones de perillas numéricas, no en una base de datos.
5. Puede alucinar, equivocarse con total seguridad, así que siempre verifique los datos.
6. Mejor contexto + prompts más claros = resultados mucho mejores.