Elija cualquier palabra de abajo para seguirla por el proceso de atención y ver hacia dónde mira. La oración es la clásica prueba de ambigüedad, y la dejamos en inglés porque los patrones de abajo están construidos palabra por palabra sobre ella (“El animal no cruzó la calle porque estaba demasiado cansado”): ¿a qué se refiere “it”, al animal o a la calle?
Entrada · 11 tokens
01
El flujo, para un token
Cada token hace este recorrido al mismo tiempo; aquí se muestra para la palabra que usted eligió. Los vectores son esquemáticos (los modelos reales usan cientos de dimensiones); el paso de puntuaciones → softmax se calcula de verdad a partir de las puntuaciones de abajo.
Token
"it" → id
“it”
índice 7
→
Embedding + posición
búsqueda + codificación posicional
vector de entrada
−
+
+
−
+
+
→
Proyectar → Q K V
× W_q, W_k, W_v
Q (consulta)
+
+
+
+
−
+
K (clave)
+
−
−
+
−
−
V (valor)
+
+
−
+
−
+
→
Puntuación
Q·Kᵀ / √dₖ contra cada token
The
animal
didn't
cross
the
street
because
it
was
too
tired
→
Softmax
→ pesos que suman 1
The0.00
animal0.93
didn't0.00
cross0.00
the0.00
street0.05
because0.00
it0.00
was0.00
too0.00
tired0.00
→
Salida
Σ pesoᵢ · Vᵢ
vector con contexto
+
+
+
+
+
+
Ahora lleva información sobre todo de “animal”. Pasa a la capa feed-forward y luego al siguiente bloque.
02
El mapa de atención
Cada fila es un token que pregunta “¿a qué debo prestar atención?”. Celda más brillante = más atención al token de esa columna. Los transformers reales corren docenas de estas cabezas en paralelo, cada una especializada. Alterne entre tres tipos de cabeza documentados:
Resuelve el pronombre. Observe la fila “it”: llega hasta “animal”, con una atracción más débil hacia el antecedente que compite con él, “street” (la calle). Este enlace de largo alcance es lo que la atención logra y con lo que batallaban los modelos anteriores.
q ＼ k
The
animal
didn't
cross
the
street
because
it
was
too
tired
menos atenciónmás
03
Hacia dónde mira de verdad
La distribución de atención del token que usted eligió: los pesos reales, que suman 1.0, que produce el softmax. Esta es la receta ponderada con la que se mezclan los vectores de valor (Value) de los demás tokens en una representación nueva que toma en cuenta el contexto.
Cómo reparte su atención el token “it”
Cabeza: Cabeza de correferencia · enlace más fuerte → “animal” (93% de su atención)
The
0.003
animal
0.927
didn't
0.003
cross
0.003
the
0.003
street
0.046
because
0.003
it
0.004
was
0.003
too
0.003
tired
0.003
Sobre lo de “mundo real”: aquí no se cargan los pesos de un modelo en producción, así que los patrones que se muestran están construidos a mano para reflejar lo que la investigación de interpretabilidad mecanicista encuentra una y otra vez: cabezas de correferencia que enlazan pronombres con sus antecedentes, cabezas del token anterior y cabezas sintácticas que enlazan verbos con sus sujetos y objetos. Las cuentas que usted ve (puntuaciones escaladas → softmax → una distribución de probabilidad sobre los tokens) son exactamente la operación que realiza una capa real, y las distribuciones que se muestran se calculan de verdad con softmax(scores).
Autoatención: softmax( Q·Kᵀ / √dₖ ) · V · La oración sigue a Vaswani et al. 2017 / el ejemplo de correferencia de Tensor2Tensor.