Una alternativa de tiempo lineal a la atención

En un transformer, cada token atiende a todos los demás, así que el trabajo crece con el cuadrado de la longitud de la secuencia, y la inferencia guarda una entrada de clave/valor por cada token anterior (la caché KV) que crece de forma lineal y para siempre. Eso es lo que encarece los contextos muy largos, tanto en cómputo como en memoria. La pregunta natural: ¿existe una arquitectura que procese secuencias sin comparar cada token con todos los demás?

Los modelos de espacio de estados toman prestado del procesamiento clásico de señales. En lugar de mirar hacia atrás todos los tokens anteriores, mantienen un estado oculto de tamaño fijo: un resumen continuo y comprimido de todo lo visto hasta ahora. En cada token, el modelo actualiza el estado a partir del estado anterior y la nueva entrada, y luego lee su salida del estado. El estado nunca crece; el token 1 y el token 1,000,000 cuestan lo mismo.

Esto es una recurrencia, como una RNN, y las RNN tenían justo ese atractivo de memoria constante, pero dos problemas fatales: eran lentas de entrenar (inherentemente secuenciales) y malas para las dependencias de largo alcance (la información se desvanecía). La aportación de S4 fue una forma especial, con estructura matemática, de definir la actualización del estado que resolvió ambos: podía calcularse en paralelo durante el entrenamiento (como una convolución) y conservaba mucho mejor la información de largo alcance.

S4 era eficiente, pero su actualización del estado era fija: procesaba cada token de la misma manera, sin poder decidir que algunos tokens importan más que otros. El superpoder de la atención es precisamente esa selectividad: se enfoca de forma dinámica en los tokens relevantes. Una recurrencia estática no puede, y eso mantuvo a los primeros SSM por detrás de los transformers en lenguaje.

La jugada clave de Mamba (2023) fue hacer selectiva la actualización del estado: sus parámetros pasan a ser funciones de la entrada, así que el modelo puede elegir, token por token, qué conservar en el estado y qué ignorar; en la práctica, una compuerta que atiende al contenido. Eso recuperó buena parte de lo que hacía fuerte a la atención, manteniendo el escalado lineal. Hacer que la recurrencia selectiva corriera rápido en GPU requirió una implementación de escaneo paralelo consciente del hardware, que es la otra mitad de la aportación.

La recompensa es concreta: procesamiento de secuencias en tiempo lineal y memoria constante por token en inferencia, sin una caché KV que se infla con la longitud del contexto. Para secuencias muy largas (genómica, audio, documentos extensos) esa es una ventaja estructural que los transformers no pueden igualar sin trucos adicionales. Mamba fue el primer SSM en igualar a transformers de tamaño similar en modelado de lenguaje, y eso fue lo que hizo que el campo le prestara atención.

La contrapartida es la otra cara del estado fijo. Como todo debe comprimirse en un resumen acotado, las tareas que exigen recordar con precisión un token anterior arbitrario (“copie esta cadena exacta de hace 50k tokens”) son más difíciles para un SSM puro que para la atención, que puede mirar directamente cualquier posición. En la práctica, los mejores resultados han venido de modelos híbridos que intercalan unas pocas capas de atención entre muchas capas Mamba: escalado lineal en la mayor parte de la red, más el recuerdo exacto de la atención donde importa.

Los transformers siguen dominando los modelos de lenguaje de frontera, y el ecosistema (herramientas, recetas de entrenamiento, intuición) está construido a su alrededor. Pero los modelos de espacio de estados pasaron de ser una curiosidad a una herramienta seria, sobre todo para contexto largo y modalidades que no son texto, y las arquitecturas híbridas son cada vez más comunes. La lección más amplia es que la atención, con todo su éxito, no es la única forma de modelar secuencias, y la presión del costo del contexto largo es justo lo que mantiene avanzando a las alternativas.