Convertir el significado en geometría

Un embedding es solo una lista de números, un vector, digamos de 768 o 1,536 números. Lo que lo hace especial es cómo se producen esos números: se entrena un modelo para que la posición del vector codifique el significado. Las palabras, oraciones o documentos semánticamente parecidos reciben vectores que apuntan en direcciones parecidas; los que no tienen relación apuntan a otro lado. Los números por separado no los puede interpretar una persona, pero su geometría sí.

Esto es distinto de la explicación sobre RAG, que usa los embeddings como un paso de un pipeline de recuperación. Aquí vemos los embeddings en sí: qué son, cómo se mide la similitud y por qué funcionan.

Dados dos vectores de embedding, la forma estándar de puntuar qué tan relacionados están es la similitud coseno: el coseno del ángulo entre ellos. Va de +1 (apuntan en la misma dirección, significado casi idéntico), pasando por 0 (perpendiculares, sin relación), hasta −1 (opuestos). Lo crucial es que ignora la magnitud y solo mira la dirección, y por eso una consulta corta y un documento largo se pueden comparar de forma justa aunque la longitud bruta de sus vectores sea distinta.

Mecánicamente: se toma el producto punto de los dos vectores y se divide entre el producto de sus longitudes. Esa normalización es todo el truco: elimina el “qué tan grande” y conserva el “hacia dónde”. Pruébelo abajo.

Escriba dos frases propias y un modelo de embeddings real convierte cada una en un vector de 768 dimensiones; después calculamos su similitud coseno en vivo. Pruebe una oración y su paráfrasis sin palabras en común: aun así puntúan alto, porque el modelo compara el significado, no el texto superficial. El modelo en vivo se entrenó en inglés, así que funciona mejor con frases en inglés, como los ejemplos. Cambie a vectores de juguete para ver la mecánica desnuda en 4 dimensiones, sin conexión.

Los primeros embeddings de palabras (Word2Vec, GloVe) aprendían un único vector fijo por palabra a partir de estadísticas de coocurrencia; de ahí salió el famoso resultado king − man + woman ≈ queen (rey − hombre + mujer ≈ reina). Los embeddings de texto modernos son contextuales y los producen codificadores transformer (vea codificador frente a decodificador): leen una oración completa y emiten un vector que refleja el significado en contexto, así que “banco” en una oración sobre un parque queda lejos de “banco” en una sobre finanzas.

Se entrenan con objetivos que acercan los pares relacionados y alejan los que no lo están: aprendizaje contrastivo. La misma idea se extiende entre modalidades: CLIP entrena codificadores de imagen y de texto en un solo espacio compartido, de modo que la foto de un perro queda cerca de las palabras “un perro”, que es la base de los modelos multimodales (lo cubre la explicación sobre codificadores de visión).

Más dimensiones le dan al espacio más lugar para separar distinciones finas, hasta cierto punto: hay un costo en almacenamiento y en velocidad de búsqueda, porque cada elemento guardado es un vector y cada consulta se compara contra muchos de ellos. Los sistemas en producción guardan de millones a miles de millones de embeddings en una base de datos vectorial con índices de vecinos más cercanos aproximados, para que “encontrar los vectores más cercanos a esta consulta” tarde milisegundos en lugar de recorrerlo todo.

Esa sola operación (convertir una consulta en embedding y encontrar sus vecinos más cercanos) impulsa la búsqueda semántica, la recomendación (“artículos cerca de lo que le gustó”), el agrupamiento (juntar vectores cercanos), la eliminación de duplicados (los vectores casi idénticos son duplicados) y el paso de recuperación del RAG. Trabajos distintos, una sola primitiva geométrica.

Los embeddings convierten la idea difusa de “significado parecido” en la operación precisa y barata de “ángulo pequeño entre vectores”. Una vez que el significado vive en un espacio geométrico compartido, comparar, buscar y agrupar se vuelven aritmética, y por eso los embeddings aparecen debajo de tanto de lo que hacen los modelos, aunque nunca se vean directamente.