JEPA: predecir la esencia, no los píxeles

Los modelos dominantes de hoy son generativos: predicen la salida misma, con todo detalle. Un LLM emite el siguiente token; un modelo de imagen o de video emite los siguientes píxeles. Esto funciona asombrosamente bien para el lenguaje, donde el “promedio” de las continuaciones plausibles suele ser una oración coherente. Funciona mucho peor para el mundo físico.

La razón es la incertidumbre. Deje caer una pelota de una mesa y podría rebotar a la izquierda o a la derecha. Un modelo obligado a dibujar el futuro real tiene que cubrirse ante todas las posibilidades a la vez, y la respuesta matemáticamente segura es promediarlas, lo que se ve como un fotograma borroso y corrido. Por eso el video generativo se ve tan a menudo difuso cuando la escena se vuelve impredecible: el modelo está literalmente dibujando la media de todos los futuros que no puede distinguir. No se puede planificar el siguiente movimiento de un robot sobre una imagen borrosa.

JEPA cambia el objetivo de la predicción. En lugar de reconstruir el siguiente fotograma píxel por píxel, codifica tanto el presente como el futuro en embeddings (vectores compactos que capturan la estructura significativa de una escena) y predice el embedding futuro a partir del presente. La parte “conjunta” es que las entradas y las salidas se mapean al mismo espacio de representación, así que el modelo puede compararlas directamente.

La recompensa es que un embedding no tiene que comprometerse con el detalle impredecible. “Una pelota, cayendo, a punto de salir por el borde derecho” es una predicción perfectamente nítida aunque el píxel exacto donde caerá sea imposible de saber. El modelo conserva lo que puede predecir y queda libre de ignorar lo que no puede, así que no hay nada que promediar ni nada que se vuelva borroso. La demostración de arriba es exactamente este contraste: el panel generativo mezcla dos futuros; el panel JEPA predice la esencia y se mantiene nítido.

Esa predicción abstracta es justamente lo que importa. Un modelo del mundo es un sistema que predice las consecuencias de una acción a partir del estado actual: “si empujo aquí, la taza se desliza hacia allá”. Planificar significa buscar entre acciones candidatas y elegir la que tiene el resultado predicho que se quiere. Se puede buscar de forma eficiente en un espacio de representación compacto; no se puede buscar en un espacio de fotogramas borrosos de píxeles. JEPA es el sustrato que LeCun propone para los modelos del mundo porque sus predicciones viven en el nivel de abstracción adecuado para planificar.

Por eso también se plantea como complementario de los LLM, no como su reemplazo. Los modelos de lenguaje siguen siendo la herramienta más fuerte para el lenguaje; JEPA apunta a los dominios donde lo que hay que anticipar es un resultado físico, no una oración. Distinto objetivo de predicción, distinto trabajo.

Predecir embeddings introduce un modo de falla que la predicción de píxeles no tiene. Si al modelo solo se le premia por coincidir con su propio embedding predicho, puede tomar un atajo: mapear toda entrada al mismo vector constante. Ahora la predicción siempre es perfecta, y completamente inútil, porque la representación no lleva ninguna información. Esto es el colapso de la representación, y es el problema de ingeniería central de todo el enfoque (el segundo panel de la demostración).

La investigación es en gran parte un catálogo de maneras de evitarlo. El aprendizaje contrastivo separa explícitamente los ejemplos no relacionados para que no puedan compartir un punto. Barlow Twins descorrelaciona las características para que cada neurona lleve información única en lugar de repetir a sus vecinas. La autodestilación al estilo DINO llega a representaciones fuertes sin ninguna etiqueta humana. Y el más reciente LeJEPA de LeCun agrega un regularizador que obliga a los embeddings a mantenerse dispersos en una distribución bien comportada (gaussiana). Mecanismos distintos, un objetivo común: mantener los embeddings distintos e informativos.

JEPA no es solo una idea de pizarrón. Meta ha lanzado una línea de variantes para imagen y video: I-JEPA para imágenes, luego V-JEPA y V-JEPA 2 para video y predicción del mundo físico, entrenadas con grandes cantidades de video más un poco de datos de interacción con robots, con versiones de visión y lenguaje y enfocadas en robótica dentro de la misma familia. La frontera del trabajo ahora es tan teórica como práctica: artículos recientes precisan las condiciones exactas bajo las cuales estos modelos de verdad recuperan las variables ocultas que impulsan lo que observan.

Toda la apuesta se reduce a una sola decisión de diseño: qué se le pide predecir al modelo. Prediga la salida en bruto y la incertidumbre lo obliga a promediar hasta obtener un borrón. Prediga una representación y podrá conservar la estructura predecible mientras descarta el ruido: nítida, abstracta, útil para planificar. Ese intercambio es lo que hace de JEPA un sustrato candidato para los modelos del mundo, y el precio de entrada es resolver el colapso de la representación para que valga la pena predecir las representaciones en primer lugar.