Cada afirmación de rendimiento y costo en este sitio debe venir con un comprobante. Esta página es ese archivo de comprobantes: cada medición es una ejecución real, con fecha, con el método explicado y, cuando usted mismo puede ejecutarla, con el comando exacto. Cuando medimos algo nuevo, se publica aquí.
La regla que nos imponemos: nunca redondeamos una cifra medida para que suene mejor, y decimos con claridad lo que una cifra no cubre.
Seguridad · latencia
Shield agrega ~1.3 µs por turno
~1.3 µsmediana agregada por turno (modo de observación)
Shield es la capa de seguridad de salida de la puerta de enlace: revisa el prompt que sale hacia el modelo, y la respuesta que el modelo devuelve en streaming, en busca de secretos de proveedores (claves de API, tokens, claves privadas). La pregunta que toda capa de seguridad tiene que responder es cuánto retrasa cada solicitud. Lo medimos directamente.
Mediana agregada por turno (observación)
~1.3 µs
0.0013 ms: el modo en que opera hoy cada cliente
Peor caso (bloqueo, con un secreto ocultado)
~2.5 µs
0.0025 ms, cuando realmente se reescribe una coincidencia
Para comparar: una llamada a un LLM como guardia
5,600–11,000 ms
por eso en esta ruta usamos expresiones regulares diseñadas para la tarea, no un modelo
Cómo lo medimos
Medimos la misma función de revisión que corre en producción (scan_messages), compilada en modo release (con LTO activado, como en producción), durante 100,000 iteraciones sobre un turno real de 4 mensajes. Para suavizar el ruido de una sola ejecución en un equipo ocupado, tomamos la mediana de 5 ejecuciones independientes: una mediana de medianas. Con Shield activado, el ÚNICO trabajo adicional de un turno en vivo es esta revisión antes de reenviar la solicitud; todo lo demás (la consulta de ruteo, el reenvío, la transmisión de la respuesta) es idéntico byte por byte con Shield activado o desactivado. Por eso la diferencia entre revisar y no revisar ES la latencia agregada. A propósito no interviene ningún proxy ni la red: un viaje de ida y vuelta por un proxy mediría la red del proveedor, no a Shield.
Reprodúzcalo
cargo test --release shield::bench -- --ignored --nocapture
En el crate switchyard-gw. Muestra la mediana, el promedio y el p99 de la revisión de un turno normal y del caso de bloqueo con ocultamiento. Esta página se actualiza automáticamente con esa misma ejecución mediante scripts/publish-shield-receipt.mjs.
Lo que esta cifra no afirma: Medido en la Mac Mini (Apple Silicon) que ejecuta la puerta de enlace. Los nanosegundos absolutos varían entre ejecuciones y según el hardware; lo importante es el ORDEN DE MAGNITUD: microsegundos, unos 4 a 5 órdenes por debajo de un guardia de aprendizaje automático diseñado para la tarea y muy por debajo de un viaje de ida y vuelta al proveedor (cientos de ms). Hoy Shield detecta solo SECRETOS de proveedores (no datos personales), funciona en modo de observación por defecto (registra pero no bloquea, salvo que un cliente active el bloqueo) y cubre el prompt de salida de la puerta de enlace y su respuesta en streaming.
Ruteo · costo
7–10× más barato que el modo automático de un enrutador popular, con calidad igual o mejor
7–10×más barato con calidad igual o mejor
Una comparativa cara a cara de nuestro ruteo medido contra el modo automático de un enrutador popular, con las mismas preguntas reales y el mismo nivel de calidad exigido. El nuestro resultó 7–10× más barato sin perder calidad en las respuestas.
Costo frente al modo automático del enrutador
7–10× más barato
con calidad medida igual o mejor
Niveles recomendados por las plataformas de chat
5–27× nuestro costo
por las mismas conversaciones
Cómo lo medimos
El mismo conjunto de tareas, las mismas entradas y el mismo evaluador de calidad: solo cambia la decisión de ruteo. La calidad la califica un LLM evaluador que se pone a prueba antes de confiar en la ejecución. La metodología completa y el desglose por modelo están en la página de comparación de enrutadores.
Dónde verlo: Desglose detallado y metodología (en inglés): /router-comparison.
Lo que esta cifra no afirma: Medido con nuestra carga de trabajo. Su combinación de tipos de preguntas determina su propia cifra; por eso ofrecemos una evaluación única de su tráfico real antes de conectar cualquier cosa.
Servicio · costo
$0.56 de costo combinado por cada 1,000 respuestas del chatbot
$0.56por cada 1,000 respuestas (combinado)
El motor de ruteo detrás de Switchyard opera en un chatbot de atención real en producción. Este es su costo combinado de servicio de modelos con tráfico en vivo: no una tarifa de lista, sino el gasto real medido dividido entre las respuestas que dio.
Costo combinado de servicio
$0.56
por cada 1,000 respuestas, tráfico real en producción
Cómo lo medimos
El gasto real en modelos de las respuestas dadas durante el periodo de medición, dividido entre el número de respuestas. Se lee de los mismos registros de servicio en vivo con los que se construye el comprobante de ahorros del cliente.
Dónde verlo: Los clientes con asistente alojado ven la versión en vivo de esta cifra en su portal.
Lo que esta cifra no afirma: Combinado entre los modelos a los que realmente se envió el tráfico; otra combinación de tráfico da otra cifra combinada.
Parte de EyesInAI OS
Estos comprobantes respaldan a los productos a los que pertenecen: Switchyard (ruteo y la capa de seguridad Shieldyard), la comparación de enrutadores (en inglés) y el comprobante de ahorros que los clientes con asistente alojado ven en su portal. Si una afirmación de este sitio todavía no tiene aquí su comprobante, pídanoslo: la respuesta honesta es un enlace o «todavía no se ha medido».
Cuando una afirmación viene de una prueba cara a cara (la misma tarea, solo cambia el modelo), las comparativas están reunidas aquí (en inglés), cada una con lo que encontró y lo que no demuestra.