Cargando datos de benchmark…
EyesInAI·Cargando datos de benchmark en vivo
Switchyard: el enrutador inteligente que aprende. Groundyard: su nuevo sistema operativo para su sitio y sus datos. Probamos los modelos cada noche y publicamos los resultados. Decida por el valor.
¿Está creando un producto de IA? Medimos sus tareas reales y le entregamos una tabla de enrutamiento: el modelo de menor costo que aún aprueba, con el ahorro incluido. Lea nuestros principios →
Lo que estamos construyendo
La mayoría de los productos de IA le piden que les crea. Esto es lo que creemos que está mal en eso, lo que construimos en su lugar y, con franqueza, qué partes están terminadas. Lea la versión completa →
Las cifras de cada proveedor de IA vienen del propio proveedor. Cada noche hacemos nuestras propias pruebas de estrés con todos los proveedores principales (validadores deterministas, ningún modelo calificando a otro) y publicamos todo gratis. Usted decide qué es cierto.
Preferimos que el asistente se abstenga a que invente. En nuestro propio tráfico, Groundyard se abstuvo en 134 de 998 preguntas con fuentes en lugar de adivinar. Son cifras pequeñas por ahora, y preferimos publicarlas a ocultarlas.
Nada cambia el nivel de su asistente sin que una persona lo apruebe. Quien lee cualquier respuesta puede marcarla como incorrecta e indicar el motivo. Los límites de gasto se revisan antes de llamar al modelo.
Switchyard ya mide las preguntas reales de su asistente contra modelos más económicos y propone una ruta de mejor valor con la evidencia adjunta. Hoy un operador aprueba cada cambio. Lo siguiente: usted controla ese ajuste, dentro de los límites que fije.
Cada afirmación de rendimiento y costo de este sitio, con el método, la fecha, el comando para reproducirla y lo que cada cifra no cubre.
Las herramientas y los modelos que investigamos y descartamos, con el motivo de cada uno. Las estrellas miden popularidad, no utilidad; por eso también publicamos los descartes.
Los productos
Cuatro productos sobre una misma base medida. El banco de pruebas no está a la venta: es la prueba en la que se apoyan los otros tres.
La pasarela de enrutamiento medido: cada solicitud va al modelo de menor costo que aún aprueba. La misma calidad que el enrutamiento automático, 2–5× más rápido en las distintas corridas, con comprobante.
El motor de respuestas construido a partir de su sitio web: basado en sus datos, bilingüe, con voz y con límites estrictos de gasto. Responde a partir de sus fuentes o se abstiene.
La prueba
Cada modelo en cada prueba, con costo por tarea, latencia y tasa de aprobación. Gratis y sin registro.
El único modelo que ningún modelo de menor costo supera en tasa de aprobación. Elíjalo y estará en la frontera eficiente.
Análisis completoMetodología
8 pruebas deterministas por modelo. Aprobar significa que la respuesta fue correcta: ejecutamos el código, analizamos el JSON y verificamos los datos. No basta con que «el modelo respondió 200».
Matemáticas básicas, lógica de varios pasos
Escritura de funciones en Python, ejecutadas en un entorno aislado
Esquema JSON estricto con validación de tipos
BBH-lite: lógica booleana, cadena de mentiras y conteo
Encontrar un código escondido en 3,500 tokens de relleno
Extracción de datos incluidos en la instrucción
Explore
Más allá de la clasificación
No nos quedamos en qué modelo. El mismo enfoque medido, con el costo primero, se aplica a todo el sistema: enrutamiento de instrucciones, caché y límites, herramientas locales que reducen la entrada antes de una llamada de pago, y alojamiento propio cuando las cuentas salen. Palancas reales, probadas primero en nuestro propio producto, con las cifras que respaldan cada una.
Cuatro palancas que de verdad reducen la factura: enrutamiento, caché, alojamiento propio y el ciclo cerrado. Un ahorro medido de 31% por turno.
MarkItDown + Graphify: herramientas locales sin costo que reducen documentos y bases de código antes de que el modelo los lea.
Compresión de instrucciones, memoria de agentes y observabilidad de costos: código abierto, evaluado para un sistema que prioriza el costo.
Cada modelo en cada prueba, con costo por tarea, latencia, velocidad y tasa de aprobación: gratis, sin registro y actualizado cada noche. O permítanos evaluar sus tareas reales y le entregamos la tabla de enrutamiento.
Su asistente y los datos en vivo de su negocio dentro de Claude Desktop: la IA que ya paga se encarga de conversar; nosotros proporcionamos los datos.
por cada 1,000 ejecuciones exitosas
Llamadas a funciones con los argumentos correctos
Estilo IFEval: viñetas y restricciones de palabras clave
El impuesto de tokens: por qué una factura de IA medida crece aunque su uso no crezca, y cómo evitarlo.