Cómo un modelo de lenguaje aprende a ver

En el fondo, un transformer no procesa texto; procesa secuencias de vectores (embeddings). El texto se vuelve vectores mediante un tokenizador y una tabla de embeddings. La idea detrás de los modelos multimodales es que una imagen también puede convertirse en vectores, y si esos vectores viven en un espacio compatible, el mismo transformer puede atender a imágenes y palabras juntas sin importarle cuál es cuál.

El Vision Transformer (ViT) lo resolvió de forma limpia. En lugar de procesar los píxeles con convoluciones, corta la imagen en una cuadrícula de parches de tamaño fijo (digamos 16×16 píxeles), aplana cada parche y trata la secuencia de parches exactamente como una secuencia de tokens. Un codificador transformer estándar (vea codificador vs decodificador) atiende entonces a los parches igual que atendería a las palabras. Dicho de otro modo, una imagen se vuelve una secuencia corta de “tokens visuales”.

ViT convierte una imagen en vectores, pero esos vectores no quedan alineados automáticamente con el texto. CLIP resolvió la alineación con entrenamiento contrastivo. Se toman cientos de millones de pares de imagen y pie de foto de la web. Las imágenes pasan por un codificador de imágenes y los pies de foto por un codificador de texto. Ambos se entrenan para que una imagen y su pie de foto correspondiente queden cerca en el espacio compartido, y los pares que no corresponden queden lejos.

El resultado es un único espacio de embeddings donde “una foto de un golden retriever” y una foto real de uno apuntan casi en la misma dirección: la extensión multimodal de la idea de la explicación sobre embeddings. Esa alineación es lo que permite la clasificación de imágenes sin ejemplos (comparar una imagen con etiquetas de texto) y, más importante aún, le da a un modelo de lenguaje un codificador de visión cuya salida ya puede interpretar.

Un modelo de visión y lenguaje (VLM) conecta un codificador de visión preentrenado con un modelo de lenguaje preentrenado. La imagen se codifica en tokens visuales, una pequeña capa de proyección lleva esos tokens al espacio de embeddings del modelo de lenguaje y se insertan en el prompt justo al lado de los tokens de texto. Desde la perspectiva del modelo de lenguaje, la imagen es solo más tokens a los que puede atender, así que “¿qué hay en esta imagen?” se vuelve un problema ordinario de predecir el siguiente token, con parte del contexto proveniente de píxeles.

Distintos diseños conectan los dos flujos de forma distinta. Flamingo insertó capas de atención cruzada y un remuestreador para que un modelo de lenguaje fijo pudiera atender a las características visuales. LLaVA mostró que una receta sorprendentemente simple funciona bien: un codificador de visión estilo CLIP, una proyección ligera y ajuste por instrucciones con datos de imagen, pregunta y respuesta. La tendencia ha ido hacia una fusión más simple y hacia tratar las imágenes como tokens.

Varios comportamientos conocidos se desprenden de este diseño. Las imágenes cuestan tokens: una imagen de alta resolución se vuelve muchos tokens visuales, por eso las llamadas con visión consumen más de su presupuesto de contexto y cuestan más (y por eso los modelos dividen en mosaicos o reducen las imágenes grandes). Los modelos suelen tener problemas con el texto denso en imágenes o el detalle espacial preciso, porque una cuadrícula gruesa de parches descarta información fina. Y la misma maquinaria se generaliza: el audio y el video se codifican en tokens con sus propios codificadores y se fusionan igual, que es como los modelos “omni” manejan varias modalidades a la vez.

El hilo conductor: la visión no requirió reinventar el transformer. Requirió una forma de convertir píxeles en tokens (ViT) y una forma de hacer que esos tokens hablaran el mismo idioma que el texto (CLIP); después de eso, el modelo que usted ya entiende hace el resto.