Cargando datos de benchmark…
EyesInAI·Cargando datos de benchmark en vivo
RAG significa darle a un modelo la información que necesita en el momento en que usted pregunta, en lugar de depender solo de lo que absorbió en su entrenamiento. El modelo nunca se vuelve a entrenar: usted cambia lo que ve, no lo que sabe. Abajo: las dos fases y una mirada en vivo al paso que decide si funciona.
Corre en cada pregunta. El modelo es un motor de razonamiento fijo; RAG le entrega la página correcta una fracción de segundo antes de que responda. Haga clic en cualquier etapa.
La búsqueda aproximada de vecinos más cercanos (ANN) devuelve los k pasajes más cercanos (a menudo con una red amplia, k=20–50). Los índices HNSW o IVFFlat la hacen rápida a gran escala a cambio de una pizca de precisión.
Cuando un sistema RAG rinde por debajo de lo esperado, la solución casi siempre está en la recuperación, no en el modelo. Elija una pregunta: su embedding se compara con cinco fragmentos de demostración por similitud coseno (calculada en vivo) y los 3 primeros son los que de verdad llegan al prompt.
Solo los 3 primeros se insertan en el prompt. Cambie la pregunta y vea cómo se reordena la lista: la respuesta del modelo nunca es mejor que lo que sobrevive a este paso.
La regla práctica: el prompt cambia las instrucciones, RAG cambia el conocimiento y el fine-tuning cambia el comportamiento. Los sistemas maduros usan los tres.
Los pasajes recuperados cambian en cada consulta, así que deben ir después del prefijo en caché, nunca dentro de él.
[ en caché: sistema + instrucciones + herramientas ]
+ [ sin caché: fragmentos recuperados + consulta ]Un pasaje malicioso en su corpus puede traer instrucciones que el modelo podría seguir (inyección de prompts). Y en sistemas con varios clientes (multi-tenant), limite la recuperación en la capa de seguridad por filas, para que un cliente nunca pueda traer los pasajes de otro, y no solo en el prompt.
embed(query) → search → rerank → augment → generate · el modelo nunca se vuelve a entrenar: usted cambia lo que ve, no lo que sabe.