Cargando datos de benchmark…
EyesInAI·Cargando datos de benchmark en vivo
Cada prompt que envía a un proveedor son datos que salen de su control.
Un prompt se arma con más que la pregunta: su prompt de sistema, las páginas recuperadas, un documento cargado, la conversación hasta ese momento. Cualquiera de ellos puede llevar una credencial que nadie quiso enviar. Shieldyard revisa la carga que sale, y la respuesta del modelo que regresa, en busca de datos con forma de credencial, en microsegundos y observando antes de actuar.
Medido el 11 de octubre de 2026 sobre la función de revisión exacta de producción, compilada en modo release, con 100,000 iteraciones sobre un turno real de cuatro mensajes. Reprodúzcalo usted mismo: cargo test --release shield::bench -- --ignored --nocapture. Método completo y salvedades.
Todo lo que aparece abajo opera hoy en producción; los puntos del plan de trabajo se listan por separado al final.
El prompt ya armado (el mensaje del visitante, su prompt de sistema, los fragmentos recuperados de su corpus, un documento cargado) se revisa en busca de datos con forma de credencial antes de entregarse a un proveedor de modelos. En modo aplicar, lo que se detecta se oculta antes de llegar a la infraestructura de otra persona; en modo observar se registra y el prompt sale sin cambios.
Un modelo puede emitir un secreto que nunca se le envió: repitiendo contexto pegado, mostrando un fragmento de RAG u obedeciendo una instrucción de exfiltración por prompt injection. Las respuestas en streaming también se reensamblan y se revisan, incluso los secretos partidos entre fragmentos. OWASP LLM02 tiene dos lados; proteger uno no es protegerlo.
Claves de API de OpenAI, Anthropic, Groq y Google; claves de acceso de AWS; tokens de GitHub y de Slack; bearer tokens; llaves privadas PEM; y asignaciones de variables de entorno al estilo de la shell. Patrones hechos a propósito, no la opinión de un modelo.
Apagado, Observar y Aplicar (enforce). Observar detecta y audita sin cambiar un solo byte de la respuesta, así que usted ve exactamente lo que habría detectado, con su tráfico real, antes de permitirle alterar lo que sale.
Cada detector se puede activar o desactivar por separado en cada asistente. Un equipo que legítimamente habla de asignaciones `env` en sus tickets de soporte puede dejar esa capa apagada mientras todos los detectores de claves siguen activos.
Se midieron ~1.3 µs agregados por turno en modo observar. Un guardia implementado como una segunda llamada a un LLM cuesta 5,600–11,000 ms: de cuatro a cinco órdenes de magnitud más. Esa brecha es la razón de que esta ruta sea coincidencia de patrones compilada y no un modelo.
Un cliente sin política compilada recibe el modo observar: audita y reporta, y nunca modifica nada. Aplicar es algo que usted activa a propósito, por asistente, después de ver los datos de observación.
El costo de esta capa se mide sobre la función de revisión exacta de producción, con fecha, y se puede reproducir con un solo comando; no se afirma en una ficha técnica. Está en /measured con el método adjunto.
Dónde está realmente la revisión, y por qué importan las dos direcciones.
Un turno es más que la pregunta del visitante: su prompt de sistema, las páginas recuperadas de su corpus, la conversación previa y cualquier documento cargado se concatenan en una sola carga. Cualquiera de ellos puede llevar una credencial que nadie quiso enviar: una clave pegada en un ticket de soporte hace tres semanas, un fragmento de configuración en una página indexada.
Diez detectores revisan la carga de salida. En modo observar, una coincidencia se audita y el prompt sale sin cambios; en modo aplicar, el valor detectado se oculta primero. En ambos casos la decisión se toma antes de que el proveedor vea los bytes.
La solicitud se reenvía y el modelo responde, ya sea en streaming token por token o como una sola respuesta en búfer.
La salida en streaming se reensambla y se revisa con los mismos diez patrones, incluso un secreto partido en dos fragmentos de modo que ninguno lo contenga completo. Este es el lado que la mayoría de los guardias omite, porque los bytes por lo general pasan directo sin tocarse.
Cada detección se audita con la regla que se activó. Como observar no cambia nada, el registro de auditoría es un reflejo fiel de lo que habría hecho aplicar sobre los prompts salientes (la revisión de la salida en streaming hoy solo observa), y eso es lo que convierte el activar aplicar en una decisión y no en una apuesta.
Una capa de seguridad que reescribe respuestas desde el primer día es una capa en la que nadie confía y que todos apagan después del primer falso positivo. El modo observar existe para que la decisión de aplicar se tome a partir de su propio tráfico, no de la confianza de un proveedor.
Detecta y audita mientras reenvía cada byte sin cambios. Usted lee lo que detectó, capa por capa, y activa aplicar donde la evidencia lo respalde, por asistente y por detector. Para los prompts salientes, el registro de auditoría del modo observar es una vista previa fiel de lo que habría hecho aplicar, porque la detección es el mismo código en ambos casos; la revisión de la salida en streaming aún no tiene modo aplicar.
Se listan aparte para que la sección anterior incluya estrictamente lo que opera hoy.
Hoy la revisión de la salida en streaming detecta y reporta mientras reenvía los bytes tal cual. Retener y reescribir un fragmento a media transmisión, sin detener la respuesta, es el siguiente paso.
Sustituir un marcador al salir y restaurar el valor real en la respuesta, de modo que un flujo de trabajo que legítimamente necesita el secreto siga funcionando sin que el proveedor lo vea nunca.
Los detectores actuales tienen forma de credencial por diseño: alta precisión, casi cero falsos positivos. Clases más amplias (datos personales, identificadores de clientes) requieren otro nivel de exactitud y se están midiendo antes de lanzarlas.
Qué modelo responde: enrutamiento medido hacia el modelo menos costoso que aún aprueba.
Qué sabe: un asistente alojado, construido a partir de su propio sitio web y sus datos en vivo.
Qué sale: revisión de salida y de entrada en busca de datos con forma de credencial.
Shieldyard no es un producto aparte que haya que comprar e integrar: viene incluido en el gateway y se activa por asistente. Si ya usa Switchyard o Groundyard, es un ajuste, no una integración.
El modo observar no cambia nada de sus respuestas. Actívelo, corra su tráfico normal y lea la auditoría; después decida si vale la pena aplicar, con su propia evidencia.