Lo que estamos construyendo
La mayoría de los productos de IA le piden que les crea. Nosotros tomamos otro camino: medirlo todo, publicar lo que encontramos y decir con claridad qué partes están terminadas. Parte de lo que sigue ya está en vivo. Parte sigue en el laboratorio. La etiqueta de cada una le dice cuál.
Dirigimos nuestro propio negocio con ella. El motor detrás de estas páginas también atiende en producción a los asistentes para clientes y para administración de Dependable Lift Rentals: el primer lugar donde algo falla es nuestra propia empresa.
Cada cifra destacada sobre un modelo de IA viene de la empresa que lo vende, medida con una prueba que eligió la empresa que lo vende. Eso es mercadotecnia con punto decimal. Con eso no se puede planear un presupuesto ni elegir un modelo.
Cada noche ejecutamos nuestras propias pruebas de estrés contra los servicios en vivo de cada proveedor importante: validadores deterministas, código ejecutado en un entorno aislado, JSON verificado contra un esquema estricto. Ningún LLM califica a otro LLM. Cada resultado tiene fecha, se puede reproducir y se puede consultar gratis, sin cuenta.
La falla que todos temen de verdad en la IA no es que diga “no sé”, sino que invente algo plausible y lo afirme con firmeza. Un asistente que acierta el 95% de las veces y se equivoca sin que se note el resto no es útil en un 95%: no sirve para nada importante, porque hay que revisarlo todo.
Por eso Groundyard responde desde sus propias fuentes o se abstiene. Una consulta no puede alucinar: cuando la respuesta real existe en sus datos, la obtenemos en lugar de pedirle a un modelo que la recuerde. El filtro de abstención está ajustado a propósito de forma estricta: abstenerse de más le cuesta al visitante una página que se le pudo haber dado; abstenerse de menos inventa una respuesta, y esas dos pérdidas no son del mismo tamaño. Con nuestro propio tráfico, hasta ahora se ha abstenido en 134 de 998 preguntas con fuentes en lugar de adivinar. Es una muestra pequeña y preferimos mostrarla que redondearla.
Pendiente: La tasa se publica aquí y en ningún otro lugar todavía; le corresponde estar en /measured como comprobante permanente con su propia nota de método, cuando haya suficiente tráfico detrás para que signifique algo.
La industria sigue prometiendo autonomía y luego descubre en silencio que las decisiones interesantes son las que una persona quería tomar. Un asistente que cambia su propio nivel, su propio modelo o sus propias salvaguardas no le ahorra trabajo: lo traslada al momento en que algo sale mal.
Nada cambia la forma en que funciona su asistente sin que una persona lo apruebe. Quien lee cualquier respuesta puede marcarla como incorrecta, con un motivo, y ese veredicto queda ligado al turno. Los topes de gasto se revisan antes de llamar al modelo, así que la forma de fallar es un rechazo, no una factura inesperada.
Pendiente: El ciclo de correcciones está en vivo pero es reciente: hay tan pocos veredictos hasta ahora que no lo presentaríamos como un conjunto de datos. Se vuelve más útil cuanto más se usa, y preferimos decirlo que dar a entender una escala que no tenemos.
La mayoría de las implementaciones eligen un modelo premium el primer día y nunca lo revisan, porque nadie puede demostrar que uno más económico es seguro. Así que usted paga el precio más alto por cada “¿cuál es su horario?” durante toda la vigencia del contrato.
Switchyard vuelve a ejecutar las preguntas reales de su asistente con candidatos más económicos, evalúa qué tan bien las resolvió cada uno y propone una ruta con mejor relación costo-calidad, con la evidencia adjunta. Un piso de calidad se aplica en el código: un modelo más económico que pierda más de un margen fijo de la calidad evaluada se rechaza, así que “más barato” nunca puede volverse “peor” en silencio. Hoy un operador aprueba cada propuesta.
Pendiente: Enrutamiento automático controlado por el cliente: usted fija los límites y el enrutamiento se mueve dentro de ellos sin esperarnos. La medición, la evaluación y el piso de calidad ya existen; lo que falta es el panel de control y la política, no el motor. Se lanzará cuando los límites sean algo que usted pueda fijar y ver, porque un cambio automático que no se puede revisar es justo lo que objeta el principio anterior.
Las afirmaciones son baratas. Hay dos páginas para que usted no tenga que creernos: Medido reúne cada afirmación de rendimiento y costo con su método, su fecha, el comando para reproducirla y lo que no cubre; Investigado y descartado reúne lo que revisamos y rechazamos, con el motivo de cada caso.