La primera decisión: ¿de verdad necesita entrenar?
La mayoría de los equipos recurre al ajuste fino cuando una opción más barata bastaría. Antes de tocar los pesos, descarte estas opciones en orden: el prompt (un mejor prompt del sistema + unos cuantos ejemplos en el prompt, few-shot) y luego la recuperación (RAG): guardar su conocimiento en un almacén vectorial y entregar los fragmentos relevantes al momento de la consulta. RAG cambia lo que el modelo sabe; el entrenamiento cambia cómo se comporta. Si el modelo ya tiene la capacidad y solo necesita sus datos, RAG es más rápido, más barato y se puede actualizar sin reentrenar. Entrene cuando necesite un cambio duradero de comportamiento, formato o habilidad que el prompt no logra sostener: un tono consistente, un esquema de salida estricto, una tarea de su dominio que el modelo sigue haciendo mal, o un modelo más pequeño y barato al que se le enseña a igualar a uno más grande.
Vea RAG, la alternativa de recuperación, antes de comprometerse a entrenar.
Los cuatro niveles de 'entrenamiento': elija el más pequeño que funcione
1Preentrenamiento: casi seguro, no es para usted
Construir un modelo base a partir de texto crudo, con billones de tokens y millones de dólares de cómputo. Es lo que hacen los laboratorios para producir Llama, Qwen o DeepSeek. Usted parte de su resultado, no de aquí. Se explica, para entenderlo, en Preentrenamiento.
2Ajuste fino supervisado (SFT): el caballo de batalla
Se le muestran al modelo desde unos cientos hasta unos miles de pares de ejemplo entrada→salida del comportamiento que usted quiere, y aprende a imitarlos. Es lo que la mayoría entiende por “ajuste fino”, y resuelve la mayor parte de los casos de uso reales: tono, formato, una tarea de su dominio. El mecanismo está en Ajuste fino y SFT.
3Eficiente en parámetros (LoRA / QLoRA): cómo pagarlo
Casi nunca se actualizan todos los pesos: se entrena un conjunto diminuto de pesos “adaptadores” añadidos y se congela el resto. LoRA lo abarata; QLoRA añade cuantización a 4 bits, de modo que un modelo de 70B se puede ajustar en una sola GPU de consumo o de estación de trabajo. No es un objetivo distinto del SFT: es cómo se hace el SFT (o el ajuste por preferencias) a un costo razonable. Cómo funciona está en LoRA y PEFT.
4Ajuste por preferencias (RLHF / DPO): pulido, no cimiento
Después del SFT, se puede alinear el modelo a preferencias (que elija la mejor de dos respuestas) mediante RLHF o mediante DPO, más simple y hoy muy común. Así convierten los laboratorios un modelo base en un asistente útil; para una tarea de negocio acotada, muchas veces basta con el SFT. El proceso está en RLHF.
Regla práctica: el SFT con LoRA/QLoRA cubre la mayoría de las necesidades reales. Recurra al ajuste por preferencias solo cuando el SFT no alcance el último tramo.
Los datos son el proyecto
Su resultado es su conjunto de datos. El modelo es un producto genérico; los ejemplos curados son su ventaja competitiva. Para el SFT necesita pares limpios de entrada→salida que demuestren exactamente el comportamiento que quiere: la calidad y la consistencia le ganan al volumen. Unos cientos de ejemplos excelentes superan con frecuencia a decenas de miles de ejemplos con ruido. Fuentes: sus propios registros (transcripciones de soporte, respuestas pasadas), ejemplos de referencia escritos a mano o la generación sintética: usar un modelo potente para producir datos de entrenamiento (la idea de Self-Instruct). Para el ajuste por preferencias necesita pares clasificados como mejor/peor, no solo respuestas sueltas.
Aparte un conjunto de prueba antes de entrenar, dividido según algo real (por cliente, por fecha), para medir generalización y no memorización. Sin él no puede saber si el entrenamiento funcionó, que es justamente la razón de ser de la medición.
El hardware, y qué corre dónde
QLoRA cambió las cuentas: la cuantización a 4 bits permite que una sola GPU de estación de trabajo o una máquina con 128 GB de memoria unificada ajuste modelos mucho más grandes que antes. Una equivalencia aproximada (entrenar requiere más memoria que la inferencia para el mismo modelo, por el estado del optimizador y los gradientes):
Tamaño Método Cabe en…
≤8B LoRA/QLoRA una GPU de 24 GB / una Mac de 32 GB
13–34B QLoRA una GPU de 48 GB / equipo unificado de 64–128 GB
70B QLoRA 1 GPU de 80 GB, o una máquina unificada de 128 GB (justo)
SFT completo (todos los varias GPU; por lo general no vale la pena frente a QLoRA
pesos)Los costos de armado en vivo y fechados, y qué modelos corren a una velocidad útil en cada nivel, están en la pestaña de costo y TCO y en los perfiles de hardware. Si está comparando tener el equipo propio frente a rentarlo, la palanca del autoalojamiento tiene las cuentas del punto de equilibrio.
El flujo de trabajo, de principio a fin
- Elija un modelo base: potente, con licencia abierta y el más pequeño que razonablemente pueda hacer el trabajo (pruebe primero a los candidatos en su tarea).
- Construya el conjunto de datos: pares limpios de entrada→salida; aparte una división de prueba real.
- Haga el ajuste fino con LoRA/QLoRA: unas cuantas épocas; vigile la pérdida y deténgase antes del sobreajuste.
- Evalúe sobre el conjunto apartado frente al modelo base sin ajustar: ¿de verdad mejoró, y a qué costo?
- Fusione o sirva el adaptador; cuantice para inferencia; despliegue (autoalojado o en un proveedor estadounidense o neutral).
- Itere sobre los datos, no sobre los hiperparámetros: ahí están las ganancias.
Ahora sírvalo, y no subestime el paso 5. Un endpoint compatible con OpenAI hace funcionar una petición en minutos, pero el estado, las llamadas a herramientas, la salida estructurada, los archivos y la observabilidad viven alrededor de él. Lo que realmente se necesita para servir un modelo autoalojado en producción es un tema aparte: servir un modelo local. Y si su modelo base es de origen chino, la lectura de seguridad sobre cómo ejecutarlo también aplica al modelo ajustado.
- LoRA · QLoRA (ajuste fino en una sola GPU) · InstructGPT (RLHF) · Direct Preference Optimization (DPO) · Self-Instruct (datos sintéticos): todos en la ruta de lectura de Artículos, en la sección Training & capabilities.