Cargando datos de benchmark…
EyesInAI·Cargando datos de benchmark en vivo
EyesInAI es una evaluación pública de modelos de IA de 10 proveedores y 231 variantes de modelo. Costos reales, latencia real, tasas de aprobación reales, actualizados cada noche con validadores deterministas. Sin cifras de los proveedores, sin discurso de mercadotecnia.
Los chatbots fallan en dos direcciones a la vez: responden mal y cuestan demasiado al hacerlo. Ambas fallas tienen la misma raíz: nadie está midiendo. Atacamos las dos con una sola disciplina: nunca gastar un token que no haga falta, y nunca ahorrar un token a costa de una respuesta correcta.
Bien hecho, la exactitud y el ahorro dejan de ser un intercambio y se vuelven la misma disciplina: la calificación que detecta una respuesta incorrecta es el mismo mecanismo que demuestra que un modelo más económico es seguro de usar. La evaluación pública de abajo es el motor de evidencia que lo hace posible.
Cada proveedor de IA publica resultados de pruebas. Casi todos muestran a su propio modelo ganando. Eso es porque el modelo y la prueba se diseñan juntos: la prueba se optimiza para lo que el modelo hace bien, no para lo que los desarrolladores de verdad necesitan para construir.
A los desarrolladores que eligen un modelo para una carga de trabajo real no les importa MMLU. Les importa si el modelo escribe JSON válido cuando se le pide, si ejecuta la herramienta de funciones con los argumentos correctos, si el costo por tarea cuadra a escala y si la latencia se mantiene dentro de su objetivo de servicio durante un pico de tráfico.
EyesInAI ejecuta 18 pruebas deterministas (pruebas donde la respuesta es correcta o no, sin que una persona o un LLM juzgue el resultado) en cada modelo importante, cada noche. Luego publicamos todo: el costo de una ejecución aprobada, el historial de regresiones, qué está en la frontera de Pareto de costo contra calidad, qué dejó de funcionar.
Ejecutamos 18 pruebas en 2 categorías. Cada prueba tiene un validador determinista: ejecutamos código en un entorno aislado, verificamos JSON contra un esquema estricto, buscamos frases exactas con expresiones regulares y contamos viñetas. No usamos un LLM para juzgar a otro LLM. Si un resultado está en este sitio, lo verificó una máquina.
Evalúan capacidades específicas por separado: latencia, velocidad de generación, cumplimiento de salida estructurada, generación y corrección de código ejecutado en un entorno aislado, recuperación de datos, llamadas a herramientas, lógica de varios pasos y memoria de contexto largo.
Reproducen cargas de trabajo reales de producción: resumir una noticia, clasificar la reseña de un cliente, extraer campos de una factura, seguir instrucciones con varias reglas y cumplir restricciones de formato.
pingSondeo de latencia: respuesta de una sola palabraHacemos las llamadas de evaluación contra la API oficial de cada proveedor (Anthropic, OpenAI, Groq, Google (Gemini), OpenRouter, NVIDIA) con nuestras propias claves de API y un equipo de pruebas Mac Mini. El equipo está detrás de un túnel de Cloudflare; el sitio público lo lee a través de un proxy reforzado.
Cada noche, una tarea programada de rotación divide el catálogo completo de modelos en 7 grupos (uno por día de la semana) y evalúa una séptima parte, así que cada modelo tiene datos nuevos cada semana. Los costos se calculan por llamada con los precios vigentes del proveedor. Los resultados llegan a Supabase y aparecen en el sitio en minutos.
La pestaña de Análisis de IA es otra cosa: cada mañana Claude Haiku resume los datos del día anterior en hallazgos estructurados (frontera de Pareto, enrutamiento por tarea, regresiones, resultados sorprendentes). El texto se construye alrededor de datos que calculamos en Python: nunca dejamos que el LLM invente cifras.
1/7 de todos los modelos conocidos evaluados
Claude Haiku genera el texto y los hallazgos
Análisis generado por última vez el 27 oct 2026, 7:00 a.m.
Tabla completa y ordenable. Orden predeterminado: costo ascendente. Filtre por proveedor, categoría y estado.
Escrito solo en inglés: el titular del día, la gráfica de Pareto, las mejores opciones por tarea, hallazgos sorprendentes y rutas de migración.
Trayectorias de la tasa de aprobación a 30 días. Detecte regresiones antes que su código en producción.
Blogs recientes de proveedores de IA, artículos seleccionados, modelos en tendencia en HuggingFace e incidentes de servicio.
Nadie nos paga para poner su modelo primero. No tenemos ninguna relación comercial con los proveedores que evaluamos. Si un modelo empeora, publicamos la regresión aunque sea de un proveedor que solemos preferir. Si un modelo gratuito de código abierto domina la frontera de Pareto en una tarea, lo decimos. Esto es Pruebas, nuestro séptimo principio, aplicado a nosotros mismos.
El sitio funciona como un bien público. Por ahora, el código de evaluación es cerrado; consideraremos abrirlo cuando la infraestructura pueda limpiarse de detalles propios del operador.
¿Preguntas, correcciones o un modelo que deberíamos agregar? Escriba a [email protected].
reasoningjsonSalida JSON estricta. Se analiza + 4 claves obligatorias con los tipos correctoscodeFunción flatten() en Python. Se ejecuta en un entorno aislado con 3 casoscode_fix_bugDepuración: corregir una función con un error sutil. Se ejecuta con casos ocultoscode_to_specImplementar una función a partir de una especificación precisa. Verificada en entorno aisladocode_refactor_preserveReestructurar código sin cambiar su comportamiento. Se vuelve a ejecutar con las pruebas anteriorescode_algoAlgoritmo no trivial (fusión de intervalos). Ejecutado en entorno aisladospeedVelocidad de generación. Respuesta de 500 tokens medida en tokens/scontextRecuperación dentro de la instrucción. Extraer Austin/Illinois/Frankfort de 20 capitalestool_useLlamada a funciones. Debe invocar get_weather con el argumento locationmulti_step_logicBBH reducido. Expresión booleana + red de mentiras + conteo de objetos en una llamadalong_context_needleEncontrar un código de 6 dígitos escondido en ~3.5k tokens de texto de rellenosummarizeResumir una noticia en exactamente 3 viñetasclassifySin ejemplos: sentimiento + categoría a partir de la reseña de un clienteextractExtraer campos estructurados (invoice_number, total_usd, line_items) de un textoinstruction_followCumplimiento de varias reglas: 5 oraciones, todas terminan en !, sin "the"format_complianceEstilo IFEval: 4 viñetas, incluir/excluir palabras clave, sin preámbuloBlogs de proveedores + tendencias de HuggingFace