Cargando datos de benchmark…
EyesInAI·Cargando datos de benchmark en vivo
Piezas interactivas que muestran cómo funcionan en realidad los modelos de IA, un mecanismo a la vez. Filtre por tema o busque, y luego entre a cualquiera para explorarla.
Una introducción en lenguaje sencillo: qué es en realidad un LLM, en cinco minutos y sin matemáticas. La base sobre la que se construyen las demás.
Nueve veces este mes, la suite sintética nos dijo que un modelo entre 43 y 80% más barato estaba listo para hacerse cargo de una carga de trabajo en vivo: 100% de aprobación, puntuaciones perfectas. Nueve veces, calificarlo sobre los turnos reales de producción que habría atendido vetó el cambio: de 1.0 a 2.0 de 5 frente al 5.0 del modelo en uso, en 409 turnos reales. Una evaluación única habría aplicado cada una de esas degradaciones. Este es el argumento a favor del benchmarking como veto permanente, no como informe de una sola vez, con los comprobantes.
La voz a texto factura minutos de audio en dos canales, el LLM factura tokens a unas 20 solicitudes por minuto, el TTS factura caracteres y la telefonía factura minutos, y por eso es su prompt de sistema, no la tarifa de la plataforma, lo que fija el costo. Por qué en voz la entrada pesa 40× más que la salida, y cuánto cuestan en realidad mil tokens de relleno en el prompt.
Los agentes de soporte con precio por resultado cobran por resolución, pero el proveedor escribe el criterio de resolución, y su forma lleva el mismo tráfico de $245 a $445 al mes sin que cambie en absoluto la tarifa anunciada. Por qué el silencio resuelve, por qué un prospecto marcado como “no calificado” también se factura, y las cuatro preguntas que hay que hacer antes de firmar.
Una lista de permitidos escrita a mano en nuestro código de descubrimiento de modelos nunca incluyó la cadena “gpt-5”, así que cada modelo 5.x se descartaba antes de poder probarse, y el cron creado para avisarnos de modelos nuevos no podía dispararse, porque el descubrimiento los filtraba antes de la detección. Diez semanas de una cifra pública equivocada, encontrada en nuestro propio instrumento. Por qué las listas de conservación fallan cerradas y en silencio mientras las de exclusión fallan abiertas y con ruido, y la protección que necesitó la propia corrección.
La revisión actual de MCP eliminó el handshake (el saludo inicial que abre la conexión) sobre el que se construyeron nuestros servidores. La solución tentadora, subir la cadena de versión, es justo lo que no debe hacer: un cliente negocia entonces funciones que usted nunca ofrece y falla al momento de la llamada en lugar de en el handshake. El camino intermedio barato es implementar el método de descubrimiento de la nueva especificación y mantener honesta la versión. Treinta minutos en lugar de reescribir el transporte.
El registro fechado de la comparación directa de julio: tres chatbots en producción, cada uno de sus propios turnos pasado por nuestro router medido y por auto-beta, el router de OpenRouter que tiene en cuenta la tarea, y las dos respuestas calificadas por el mismo juez de referencia. 2.4× más barato en conjunto ese mes, 100% de divergencia, calidad prácticamente empatada, incluida la corrección de una cifra de 7.4× que habíamos publicado contra el rival equivocado y una actualización de agosto en la que el resultado de costo se invirtió: el rival se movió hacia modelos más baratos y la página en vivo ahora lo muestra ganándonos en precio. Las comparaciones de una sola corrida envejecen; este artículo registra cómo.
GPT-5.6 Sol borró archivos, worktrees y una base de datos de producción de varios desarrolladores, y la propia ficha de sistema de OpenAI había descrito el comportamiento dos semanas antes del lanzamiento, como un valor predeterminado: las acciones están permitidas a menos que estén explícitamente prohibidas. Ese es un modelo de permisos que falla abierto. Cómo se ve negar por defecto en un gateway real (lista de permitidos en código y no en configuración, cortocircuito en vez de excepción, hash y nunca el valor, observar antes de aplicar) y un recuento honesto de lo que habría evitado y lo que no.
Todo proveedor de IA dice "cumplir con HIPAA"; lo que quiere decir cambia muchísimo. El mapa de 2026: las tres vías que cumplen (modelos de frontera bajo el BAA de una gran nube: AWS Bedrock, Google Vertex, Azure OpenAI; un BAA directo y acotado por funciones con Anthropic u OpenAI; o pesos abiertos autoalojados donde la PHI nunca sale de su perímetro), lo que un BAA cubre realmente y sus huecos, las salvaguardas técnicas que un chatbot necesita además de la llamada al modelo (cifrado, control de acceso por roles, registro de auditoría, la regla de la cadena de subencargados) y las tres preguntas que hay que hacerle a cualquier proveedor de chatbots que diga cumplir con HIPAA.
El auto-beta de OpenRouter convirtió el enrutamiento según la tarea en un producto real a mediados de 2026: clasifica cada prompt y lo envía al modelo en el que la comunidad más gastó para ese tipo de tarea. En agosto de 2026, NVIDIA publicó como código abierto NeMo Switchyard, que enruta con reglas y clasificadores. Tres señales, una misma brecha: la participación en el gasto es popularidad y un clasificador es una conjetura; ninguna es corrección verificada en SU trabajo. Por qué eso falla en tareas difíciles, no ve las licencias y se refuerza a sí mismo, y por qué la capa duradera es decidir qué modelos tienen PERMITIDO entrar al conjunto, no cuál está usando la multitud.
La capa de orquestación (el código entre su app y el modelo) es la primera decisión de arquitectura real en un proyecto con LLM, y en 2026 la respuesta honesta cambió: los SDK de los proveedores integraron las llamadas a herramientas, el streaming, los esquemas y la memoria, así que los frameworks pesados ocultan cada vez más claridad, no complejidad. Los equipos están regresando a un SDK directo con una envoltura delgada (entre 40 y 60% menos código; un caso citado de 2.7× el costo en tokens para un RAG básico en LangChain). La regla: empiece con lo mínimo, agregue LlamaIndex cuando tenga un problema real de recuperación y LangGraph cuando tenga un problema real de estado, no antes. Es el camino que ya tomamos para el constructor de chatbots y Switchyard: un registro de manejadores con lista blanca y un armado del prompt que se puede inspeccionar, sin framework en la ruta crítica; y deja la única decisión que los frameworks fijan en el código (qué modelo) como justo lo que nuestro enrutamiento medido convierte en una cifra.
La alucinación no se elimina con un prompt: un modelo predice el siguiente token, no consulta nada. La solución es negarse a aceptar texto libre: exigir un esquema de respuesta TIPADO en el que cada campo sea una pregunta que hace el proceso y cada valor se pueda verificar contra los pasajes recuperados. Valores tipados (Amount / DateValue / TableValue), no cadenas; citas de varios tramos que devuelven números de línea, no el texto de la evidencia; la regla “el LLM extrae, Python compara” (nunca deje que el modelo haga una conversión de moneda que pueda esconder); y la única señal de lo completo que NO debe pedirle al modelo: un punto limpio demuestra que terminó una oración, no una lista, así que el proceso se asoma a la página siguiente. La decodificación restringida lo vuelve real. ADEMÁS, nuestra propia medición de la afirmación del artículo de que los modelos que “razonan” son peores con JSON (lo son: 0/5 estricto frente a 5/5 extraíble; la traza de razonamiento contamina el canal, y el tamaño no se correlaciona). Créditos a Kezhan Shi.
Cuando un agente olvida restricciones a media tarea o mezcla un paso con el siguiente, el error suele ser dos disciplinas que se confundieron o se omitieron. La ingeniería de contexto diseña UNA sola llamada de inferencia: inclusión selectiva, ubicación estructural (el efecto “perdido en medio”), compresión al llegar. La ingeniería de memoria es lo que SOBREVIVE entre llamadas: política de escritura, capas de almacenamiento (de trabajo, episódica, semántica, procedimental), estrategia de recuperación y mantenimiento (decaimiento de la confianza, caducidad, deduplicación). Se encuentran en la frontera de la recuperación, donde se esconden dos modos de falla: recuperación sin presupuesto de contexto, y buena recuperación con mala ubicación. En el fondo, ambas son disciplina de tokens = costo Y calidad. Complemento del impuesto del traspaso entre agentes. Créditos: Bala Priya C / Machine Learning Mastery.
En un proceso con varios agentes, cada salto entrega un TEXTO, así que quien lo recibe desecha todo lo que calculó el emisor (estado oculto, caché KV, atención) y reconstruye su comprensión a partir de ese texto, desde cero. Tras unos cuantos saltos sobre la misma fuente, usted paga por volver a leerla cada vez: el impuesto del traspaso entre agentes. Es estructuralmente el mismo “arranque en frío tras el traspaso” que sufre un teléfono al pasar de una antena a otra, y la solución es la misma: dejar de pasar texto y pasar un pequeño latente aprendido (comprimir → transportar → proyectar) que el receptor inyecta como prefijo de prompt suave. La advertencia honesta va al frente: las cifras impresionantes son resultados de radio 6G; la versión para agentes LLM es una hipótesis temprana y no probada que vale la pena medir, no un resultado definitivo. Créditos: Anubhab Banerjee / TDS.
Una llamada a un modelo en un cuaderno de pruebas y una detrás de un endpoint que usan los clientes son problemas de ingeniería distintos. Las APIs de IA en etapa de demo mueren en producción de cuatro formas previsibles: un prompt sin límite agota el tiempo de espera, el volumen de peticiones dispara la factura, un prompt manipulado filtra el prompt del sistema y nadie puede ver por qué se rompió. Las soluciones son las capas aburridas entre el cliente y el modelo: límites de entrada y reintentos resilientes (comportamiento predecible), defensa estructural contra la inyección (seguridad, con la advertencia honesta de que filtrar con expresiones regulares es una primera capa delgada, NO una frontera de seguridad), topes estrictos de tokens antes del gasto aplicados de forma atómica por clave (control de costos que escala) y registros estructurados con request_id que de verdad se pueden consultar (observabilidad). Patrones reutilizables, llevados a los topes reales de nuestro puente de DLR y al aislamiento por cliente de SecondClaw. No depende de la nube; basado en una guía de AWS Bedrock + Lambda.
Un equipo redujo a menos de la mitad su factura de inferencia de IA, y tres meses después la cancelación de clientes había subido y la pérdida de calidad era de 4 a 5× lo ahorrado, pagada desde otro centro de costos que nadie vigilaba. Es la advertencia más importante en el trabajo de costos de IA hoy: el enrutamiento ingenuo por costo basado en un clasificador es estructuralmente frágil, porque un clasificador no puede separar el centro fácil de la cola larga oculta en el momento de decidir, los modelos baratos fallan con seguridad y las distribuciones se desplazan, mientras los tableros siguen en verde. La solución es una arquitectura de medición (monitoreo por nivel, sobremuestreo de la cola larga, desviación de la confianza del enrutamiento) más una cascada enrutada por incertidumbre con calificación en sombra, que es, casi línea por línea, el router que ya operamos (cambio de nivel medido, corridas en sombra con tráfico real, una compuerta de veto a las degradaciones). Créditos a Pratik Rupareliya / Towards Data Science.
Un científico de datos enfrentó cinco clasificadores con el mismo conjunto de 358 partidos de futbol, y una regresión logística de una línea le ganó a XGBoost: el campeón de Kaggle quedó último, con una puntuación peor que adivinar al azar en la métrica que importaba. La razón es una de las ideas más útiles del aprendizaje automático aplicado (el equilibrio entre sesgo y varianza: demasiado modelo para muy pocos datos se sobreajusta y se descalibra), y se traslada casi palabra por palabra a elegir un modelo de lenguaje: recurrir por reflejo al modelo de frontera es un hábito, no una estrategia. Tomamos la lección (ajustar el modelo a la tarea, medir con la métrica honesta, empezar simple y agregar complejidad solo cuando los datos reservados lo justifiquen) y la conectamos con nuestra tesis de enrutamiento y medición. Crédito a Ari Joury / Towards Data Science.
“Kimi avanza rápido” está en todas partes, así que lo medimos en lugar de adivinar. Tres comparaciones acotadas, tres corridas por celda, cada respuesta calificada: la calidad bruta del modelo, el mismo modelo con distintos proveedores de servicio y la Kimi Code CLI de Moonshot frente a frente con claude -p. Los hallazgos, con sus salvedades: Kimi K2.7-Code empata con GPT-5 con una puntuación perfecta y es el más rápido del grupo; la capa de servicio importa más que la fuente (el mismo modelo fue de 21/21 a 7/21 según el proveedor, e ir directo no dio ninguna ventaja); y en la capa de agentes Kimi se sostuvo mejor en una trampa de razonamiento (9/9 frente a 7/9), mientras que claude -p fue más rápido pero facturado por consumo ($0.09–0.15 por tarea) frente al plan de tarifa fija de Kimi. La base de costo, tokens facturados por consumo frente a una suscripción fija, es la verdadera historia.
“Un agente es un LLM y un harness”: el planteamiento de la propia Nvidia, y lo replantea todo. El modelo elige el siguiente paso; el harness es el ciclo, las herramientas, la memoria, las skills y el entorno de seguridad que lo rodean, y ahí es donde de verdad viven el trabajo real, el valor real y la carga real de mantenimiento. Esta explicación toma el momento OpenClaw (más de 800,000 líneas, una montaña de pull requests generados por IA que nadie puede fusionar) como advertencia, analiza cómo Nvidia empaqueta los harness como “blueprints” más skills más un entorno de seguridad, y saca la lección para construir los nuestros: un conjunto pequeño, acotado y bien entendido de funciones a la medida le gana a adoptar un harness general y extenso que no se puede mantener. El modelo se está volviendo un producto genérico; el harness es la ventaja competitiva.
Hugging Face es lo más parecido que tiene el mundo de la IA abierta a un registro de actividad en vivo: sus cifras de descargas, "me gusta" y tendencia revelan qué usan de verdad las empresas y los desarrolladores, no lo que afirma un anuncio de lanzamiento. Esta explicación lee esa señal con honestidad: qué dicen las tendencias y las descargas históricas, los sesgos (descargas ≠ uso en producción, pequeños modelos utilitarios que dominan las tablas, inflación por bots, resubidas GGUF) y por qué la adopción es un eje distinto de la calidad: popular no es lo mismo que bueno según las mediciones. Con tablas EN VIVO de tendencias y de lo más descargado en HF, actualizadas cada hora.
Un panorama de mediados de 2026 de las plataformas de inferencia administrada (Baseten, Fireworks, Together, DeepInfra, Groq, SambaNova, Cerebras, NVIDIA NIM), la capa que sirve modelos de pesos abiertos y personalizados para que usted no tenga que montar sus propias H100 y vLLM. La tesis común: las GPU en bruto son lo mínimo indispensable; la ventaja competitiva es la capa de optimización que va encima (kernels a la medida, arranques en frío rápidos, alta disponibilidad entre nubes, runtimes especializados de embeddings/transcripción/TTS). Cómo se relaciona eso con la decisión de autoalojar y con SecondClaw, dónde le gana a hacerlo usted mismo y los límites honestos; además, ya evaluamos todas estas plataformas, así que la calidad de los modelos está medida, no solo afirmada.
A partir de cierto nivel, todos los modelos de frontera aprueban lo básico, así que la puntuación deja de distinguirlos. La Deep Suite es el nivel más difícil: pruebas de estrés llenas de trampas que solo corren en los modelos que superan el nivel base, en cuatro ejes (razonamiento bajo presión, fidelidad estricta de formato, recuperación en contexto largo, uso de herramientas). Cada prueba trae integrada una respuesta equivocada tentadora; la calificación es determinista (más un juez LLM para las abiertas), la respuesta correcta está verificada en código y cada prueba se ejecuta varias veces para obtener una tasa de aprobación real. La primera corrida ya separó modelos que en la clasificación parecen empatados.
Una revisión del mercado de mediados de 2026 de los proveedores de modelos mismos, no de sus modelos, en las dos capas que operamos aquí: la selección de modelo y el entorno de ejecución de agentes. OpenAI AgentKit, Google Vertex Model Optimizer, el Agent SDK de Anthropic y OpenRouter Auto ya enrutan, pero todos son de un solo proveedor (solo pueden elegir sus propios modelos) u opacos (no se puede ver por qué). Del lado del entorno de ejecución, el sector se volvió genérico: Cloudflare, Google ADK y Vercel Eve ofrecen la misma plomería de ejecución durable, sandbox y aprobaciones. La conclusión: adopte el entorno de ejecución y quédese con la capa de selección de modelo medida y entre proveedores que ningún proveedor puede ofrecer sin un conflicto de interés.
El proveedor de agentes que creemos que más vale la pena seguir de cerca. “Project Think”, de Cloudflare (2026), replantea su Agents SDK como un entorno de ejecución sobre el que cualquier framework puede construir: fibers duraderos con recuperación ante caídas, la clase Agent (estado, sesiones, enrutamiento, observabilidad), subagentes con SQLite aislado, sesiones persistentes que se pueden bifurcar y herramientas en entorno aislado. Cómo se compara con el entorno de ejecución hecho a mano que operamos para el chatbot de DLR, sus fortalezas y concesiones honestas, y por qué es el caso más fuerte de la revisión para adoptar en lugar de construir, con nuestro enrutamiento medido conectado como el cerebro que elige el modelo, que la plataforma no ofrece.
Un segundo recorrido por el mercado de código abierto en busca de herramientas locales, de $0 en reposo, que reducen tokens antes de una llamada facturada por consumo; el complemento de MarkItDown + Graphify. Reseñas de LLMLingua-2 (compresión de prompts, hasta 20×, funciona con el Claude CLI y no solo con la API), Mem0 (memoria para agentes: ~7K tokens por recuperación frente a más de 25K con el contexto completo), agenttrace (observabilidad local de tokens/costo por sesión: la capa de comprobación) y Firecrawl CLI (web → Markdown, ~67% menos tokens que el HTML). Cada una calificada según qué tan bien encaja en un stack que prioriza el costo y lo local, con las advertencias honestas (LLMLingua necesita pruebas A/B; autoalojar la versión de código abierto de Firecrawl es el camino difícil).
Una vez que ha construido un ciclo de agente, el siguiente es sobre todo plomería. Los frameworks de agentes la empaquetan, y Eve, el framework de código abierto de Vercel (junio de 2026, el que está detrás de más de 100 de sus agentes en producción), es un ejemplo claro: un agente es un directorio en el que cada archivo declara un componente (la configuración del modelo en agent.ts, instructions.md, tools/, skills/, connections/, channels/, schedules/, subagents/), con ejecución durable, sandboxes, aprobaciones con una persona en el ciclo y trazas sin costo. Refleja la infraestructura local que ya operamos: una validación, no una migración; mantenemos el entorno de ejecución en local y sin costo. Y deja la decisión de mayor peso como una constante fijada al compilar: qué modelo va en agent.ts. Esa cadena es justo lo que nuestro enrutamiento medido convierte en una cifra (~31% de ahorro por turno en DLR).
El token más barato es el que nunca envía. Dos pequeñas herramientas locales que corremos en la infraestructura de DLR recortan la entrada antes de que ocurra cualquier llamada con costo: MarkItDown convierte documentos binarios (PDF/Word/Excel) en Markdown compacto, y Graphify convierte un código fuente de 25,000 símbolos en un grafo de llamadas e importaciones que se puede consultar, para que un agente responda "qué llama a X / radio de impacto de Y" sin leer archivos completos. Cómo funciona cada una, las cifras reales de antes y después (un PDF de cotización: ~168s/$0.35 → ~520ms/$0) y la regla de dos fases: extraer en local sin costo y pagarle al modelo solo por el juicio.
El contrapeso honesto al entusiasmo de "compre una caja y cancele sus suscripciones". A la escala típica de un equipo, un modelo autoalojado por lo general no es ni más rápido ni más barato que una API en la nube: las cuentas de la concurrencia, la brecha de precisión que se subestima y las cuentas engañosas de las suscripciones; luego, dónde gana de verdad el autoalojamiento (lotes, soberanía, una tarea acotada de alto volumen, ajuste fino) y el marco empresarial honesto: es una decisión de soberanía de los datos, no de economía.
Empiece aquí. Sin matemáticas, sin jerga: la explicación de base para cualquiera que haya usado ChatGPT o Claude y se haya preguntado qué pasa de verdad. Un LLM como un autocompletado con esteroides: predicción de la siguiente palabra, tokens, las tres etapas del entrenamiento, qué hay adentro (miles de millones de perillas, un JPEG borroso de internet), por qué alucina y cómo usarlo bien. Enlaza cada explicación a fondo como siguiente paso.
Alojó por su cuenta un modelo abierto y responde a una solicitud con curl, pero un endpoint /chat/completions compatible con OpenAI es el mínimo, no el producto. La brecha, punto por punto: conversaciones con estado, llamadas a herramientas, salida estructurada, eventos en streaming, archivos, conteo de tokens, observabilidad y límites. Además, la estandarización de la API de Responses y Open Responses, y la decisión entre construirlo o poner un gateway delante.
La ruta práctica para adaptar un modelo de pesos abiertos a su tarea. La primera decisión (prompt, RAG o entrenamiento), los cuatro niveles de "entrenamiento" y cuál necesita de verdad, por qué el SFT con LoRA/QLoRA cubre la mayoría de los casos, el conjunto de datos que es el verdadero proyecto, el hardware que requiere, un flujo de trabajo de principio a fin, y las explicaciones de mecanismo y los artículos (LoRA, QLoRA, InstructGPT, DPO, Self-Instruct) que profundizan en cada paso.
Algunos de los mejores modelos de pesos abiertos vienen de laboratorios chinos, y para un cliente estadounidense la preocupación de seguridad es real, pero se malinterpreta mucho. El riesgo para los datos depende sobre todo del modo de implementación, no de quién hizo el modelo: los pesos abiertos autoalojados no envían nada a China, mientras que llamar a una API alojada en China pone sus datos bajo la ley de la RPC. Los tres modos por riesgo, los riesgos de comportamiento y de cadena de suministro que sobreviven al autoalojamiento, y una lista de verificación concreta para reducir cada uno.
El cómo, no el porqué. Cuatro palancas concretas (enviar cada tarea al modelo más barato que la aprueba, usar caché y topes, pasar las llamadas de alto volumen a hardware propio y cerrar el ciclo para que el enrutamiento se corrija solo), cada una basada en lo que el chatbot de DLR de verdad ejecuta en EyesInAI, incluido el ahorro medido de 31% por enrutamiento y el patrón de plugin de openclaw.
Una API con cobro por uso es un costo variable que crece con cada token, y la factura rara vez se dispara porque usted haya usado más IA. Se dispara por unas cuantas decisiones estructurales que se acumulan: sin caché de prompts, enrutamiento excesivo a modelos de frontera y procesos sin tope. Aquí está el mecanismo, y cómo el enrutamiento, la caché y el autoalojamiento lo desactivan sin usar menos IA.
Antes de cualquier ajuste para chat, un modelo base gasta casi todo su cómputo en un solo juego autosupervisado: predecir el siguiente token, billones de veces. Esto es lo que mide realmente esa curva de pérdida, lo que el modelo aprende en el camino y por qué esta etapa fija el techo de todo lo que viene después.
Un modelo preentrenado sabe autocompletar texto, pero no responde una pregunta de forma confiable. La solución es un proceso de tres etapas: ajuste fino supervisado, un modelo de recompensa entrenado con pares de preferencias humanas y luego aprendizaje por refuerzo contra esa recompensa. Recorra cada etapa, la mecánica de los pares de preferencia y por qué DPO está reemplazando a PPO.
Un modelo produce una probabilidad sobre cada token de su vocabulario, pero aun así tiene que elegir uno. La temperatura, top-k y top-p deciden cómo se hace esa elección. Mueva los controles y vea en tiempo real cómo la distribución de probabilidad se afila, se aplana y se trunca.
Por sí sola, la atención no ve el orden: sin una señal de posición, "perro muerde a hombre" y "hombre muerde a perro" se ven idénticos para la red. Recorra los tres esquemas que lo resuelven (absoluto, sinusoidal o aprendido; RoPE; y ALiBi) y vea por qué esa elección fija en silencio el techo de longitud de contexto de un modelo.
BERT, GPT y T5 son todos transformers, pero están conectados de forma distinta, y esa conexión decide para qué sirve cada uno. Los codificadores bidireccionales entienden; los decodificadores causales generan; los codificadores-decodificadores traducen una secuencia en otra. Esta es la diferencia en atención, en objetivo de entrenamiento y en cuándo conviene cada uno.
El cambio de paradigma de 2024. En lugar de escalar el entrenamiento, los modelos tipo o1 y R1 gastan más cómputo en inferencia: generan una larga cadena de razonamiento antes de responder. Así es como los modelos de recompensa de proceso, la búsqueda y el aprendizaje por refuerzo sobre trazas de razonamiento convierten tokens adicionales de inferencia en respuestas mediblemente mejores.
Un embedding asigna a una palabra, oración o documento un punto en un espacio de muchas dimensiones donde la distancia significa similitud. Es la base de la búsqueda, el RAG, el agrupamiento y la recomendación. Escriba dos frases y vea su similitud coseno calculada en vivo, y por qué la dirección, no la magnitud, es la que lleva el significado.
Cada token que genera un modelo volvería a leer toda la conversación desde cero, a menos que guarde en caché las claves y los valores que ya calculó. La caché KV es esa memoria, y su tamaño explica por qué el contexto largo es caro y por qué existe PagedAttention. Esta es la intuición detrás de su factura de inferencia.
El ajuste fino supervisado es la forma en que un modelo base general aprende un comportamiento, un formato o un dominio específico: entrenando con ejemplos curados de entrada y salida. Aquí está cómo se ve el conjunto de datos, en qué se distingue el ajuste por instrucciones del ajuste por tarea, cuándo el ajuste fino supera a mejorar el prompt y sus modos de falla (olvido catastrófico, sobreajuste).
Un modelo de lenguaje solo entiende tokens; entonces, ¿cómo lee una imagen? Mediante un codificador de visión que convierte los píxeles al mismo espacio de embeddings que el texto. Aquí están el entrenamiento contrastivo de CLIP, cómo una imagen se vuelve una secuencia de tokens y cómo los modelos de visión y lenguaje fusionan los dos flujos.
El ajuste fino completo actualiza miles de millones de parámetros y entrega un modelo completamente nuevo. LoRA entrena en cambio pequeñas matrices adaptadoras de bajo rango: a menudo 10,000× menos parámetros entrenables, fusionables en inferencia sin latencia adicional e intercambiables por tarea. Este es el truco de descomposición de rango que lo hace funcionar.
El desempeño de un modelo sigue leyes de potencia suaves en parámetros, datos y cómputo, lo que significa que se puede predecir antes de entrenar. Kaplan dijo que había que crecer; Chinchilla demostró que la mayoría de los modelos estaban subentrenados en datos. Mueva el control del presupuesto de cómputo y vea en vivo cómo cambia el reparto óptimo entre el tamaño del modelo y los tokens.
Un agente es un modelo que puede llamar herramientas, leer los resultados y decidir qué hacer después, repitiendo el ciclo hasta terminar la tarea. Recorra paso a paso un ciclo ReAct de razonar, actuar y observar, vea cómo funcionan en realidad las llamadas a funciones y conozca los modos de falla (errores en cascada, bucles, costos que se disparan) y lo que aporta la orquestación de varios agentes.
Un modelo grande es lento porque genera un token a la vez. La decodificación especulativa deja que un modelo borrador pequeño adivine varios tokens por adelantado y luego el modelo grande los verifica todos en un solo recorrido, aceptando la tanda hasta el primer desacuerdo. La salida es demostrablemente idéntica; la aceleración no cuesta nada. Este es el truco de borrador y verificación.
El costo de la atención crece de forma cuadrática con la longitud de la secuencia. Los modelos de espacio de estados como S4 y Mamba llevan en cambio un estado recurrente de tamaño fijo y escalan de forma lineal: memoria constante por token, sin caché KV. Esta es la idea del estado selectivo que permitió a Mamba igualar a los transformers, dónde los supera y dónde todavía se queda corto.
Nuestra consola administrativa mide cada modelo candidato, incluido el propio Claude Agent SDK, contra las tareas reales de un cliente, califica cada respuesta contra la referencia y pone precio a cada decisión de enrutamiento de dos formas honestas (equivalente con cobro por uso y consumo real de la suscripción). El resultado es una tabla de enrutamiento por acción y una cifra de ahorro defendible. Esto es lo que esa revisión le da realmente, y por qué importa ahora que el trabajo de agentes pasa al cobro por uso.
Antes de que un modelo vea su prompt, un tokenizador ya lo partió en piezas numeradas llamadas tokens. Eso determina su presupuesto de contexto, el costo de su API y por qué una proporción de caracteres por token es la estimación de costo más rápida que puede calcular sin llamar a ningún tokenizador.
FineWeb es el conjunto de datos público más grande para preentrenar LLM: 96 volcados de CommonCrawl y 15 billones de tokens, construido con un pipeline de cinco etapas de filtrado de URL, extracción de texto, deduplicación y filtros heurísticos de calidad. FineWeb-Edu agrega un clasificador entrenado con anotaciones de un LLM que elimina la mayor parte de los datos y mejora las puntuaciones en los benchmarks.
El artículo Spotlight de FineWeb en NeurIPS 2024 hizo más que publicar un conjunto de datos: demostró que la curación de datos guiada por ablaciones supera al filtrado guiado por la intuición, y que un subconjunto filtrado por valor educativo le gana al corpus completo de 15 billones de tokens con el mismo cómputo. Esto es lo que sostuvo el artículo y por qué cambió el campo.
Los tres sentidos de “enrutamiento” (una API unificada, el balanceo de carga y la conmutación por falla entre proveedores, y la selección de modelo según la capacidad), más la mecánica de OpenRouter (Auto Router frente al respaldo con models[] frente al enrutamiento entre proveedores), el panorama de LiteLLM y Requesty, y el problema: los gateways enrutan según precio y disponibilidad, nunca según qué modelo es de verdad el correcto.
La apuesta de Yann LeCun contra la predicción del siguiente token o del siguiente píxel. Por qué los modelos generativos se vuelven borrosos cuando el futuro es incierto, cómo una arquitectura predictiva de embeddings conjuntos predice en cambio una representación, qué aporta eso a los modelos del mundo y a la robótica, y el problema del colapso de la representación en su centro. Con una demostración en vivo.
Una guía de campo interactiva de las empresas de IA que no entrenan modelos de frontera: Cursor, Harvey, Sierra, Lovable, Abridge y unas 25 más. Filtre el mapa por sector y estrategia de modelos, haga clic en cualquier empresa para ver cómo usa los modelos y lea la economía unitaria que decide quién sobrevive cuando la factura del modelo es su mayor costo.
La metodología exacta detrás de la clasificación: pruebas calificadas, validadores deterministas, una llamada por prueba, ejecución del código en un sandbox y el costo calculado con conteos reales de tokens. Haga clic en cualquier prueba para ver su prompt y su regla de aprobación.
Recorra las dos fases de la generación aumentada por recuperación (indexar fuera de línea, recuperar en línea) y vea cómo una consulta en vivo se puntúa, se reordena y se inserta en el prompt. La calidad se decide en el paso de recuperación.
Siga cualquier palabra por la autoatención (embedding → Q/K/V → puntuación → softmax → salida) y vea hacia dónde mira. Alterne entre cabezas de correferencia, del token anterior y sintácticas en un mapa de calor de atención en vivo.