Un modelo pequeño adivina, el modelo grande verifica

La decodificación autorregresiva es secuencial: el token N debe existir antes de que el modelo pueda calcular el token N+1. Cada paso es un recorrido completo hacia adelante (forward pass) por todo el modelo. Lo frustrante es que este trabajo está limitado por la memoria, no por el cómputo: la mayor parte del tiempo se va en leer los pesos del modelo desde la memoria, y las unidades aritméticas de la GPU pasan casi todo el tiempo ociosas. Procesar un token genera casi el mismo tráfico de memoria que procesar varios, así que generar tokens de uno en uno desperdicia el hardware.

Este es el hecho clave que hace funcionar la especulación. Ejecutar el modelo grande sobre una secuencia para verificar K tokens a la vez cuesta más o menos lo mismo que generar un token, porque es el mismo cuello de botella de lectura de pesos, solo que sobre una secuencia un poco más larga. Así que, si ya se tuviera una conjetura sobre los siguientes tokens, revisarlos todos sería casi gratis comparado con producirlos uno por uno.

Eso replantea el problema: en lugar de pedirle al modelo caro que produzca cada token, se obtienen conjeturas baratas de otra parte y solo se le pide que las confirme en bloque.

La decodificación especulativa usa dos modelos. Un modelo borrador pequeño y rápido (con el mismo vocabulario y una fracción del tamaño) genera enseguida una tanda de, digamos, 4–8 tokens candidatos. Luego el modelo objetivo, el grande, hace un solo recorrido sobre esa tanda y, en cada posición, revisa si el token del borrador coincide con el que él habría producido.

Acepta los tokens candidatos hasta el primer desacuerdo, descarta el resto y aporta él mismo el token correcto en el punto donde divergen. Después el modelo borrador vuelve a adelantarse desde ahí. Cuando el borrador es bueno, se aceptan muchos tokens por cada recorrido caro; cuando se equivoca, se vuelve más o menos a la velocidad normal. En cualquier caso, nunca resulta mucho peor que la decodificación estándar, y casi siempre resulta mucho mejor.

Esta es la parte que la convierte en una verdadera ganancia sin costo, y no en un sacrificio de calidad. Una regla de aceptación cuidadosa (muestreo por rechazo contra las propias probabilidades del modelo objetivo) garantiza que los tokens aceptados sigan exactamente la misma distribución que el modelo objetivo habría producido por sí solo. El modelo borrador solo propone; lo que realmente se muestrea es la distribución del modelo objetivo. Así, el texto final es estadísticamente indistinguible del que daría el modelo grande solo: la misma calidad, con menos recorridos caros.

La aceleración depende por completo de qué tan seguido coincide el borrador con el objetivo. Un modelo borrador bien emparejado con el objetivo en texto típico logra una aceptación alta y una ganancia de 2–3×; uno mal emparejado gana poco. Ese es el único ajuste que realmente importa.

Varias versiones evitan necesitar un modelo borrador aparte. Los métodos autoespeculativos usan algunas capas del propio modelo objetivo, o cabezas de predicción adicionales (Medusa), para producir las conjeturas. La búsqueda en el prompt (prompt lookup) arma el borrador copiando continuaciones probables directamente de la entrada, algo sorprendentemente eficaz para resúmenes y código, donde la salida suele repetir el prompt. Todas comparten el mismo esqueleto: proponer barato, verificar barato en bloque y aceptar el prefijo en el que coinciden.

La decodificación especulativa ya es estándar en las plataformas de inferencia en producción porque no pide nada a cambio: ni ajuste fino, ni pérdida de calidad, ni cambios en la API. Simplemente hace más rápido al mismo modelo, usando la capacidad aritmética ociosa de la GPU para verificar en lugar de dejarla sin uso. Forma parte, junto con la caché KV, del conjunto de trucos que hacen costeable servir modelos grandes.

Como la recompensa es “el mismo modelo, mucho más rápido, sin costo de calidad”, la decodificación especulativa se ha vuelto un campo de batalla competitivo por derecho propio, y se divide según la conocida línea entre lo propietario y lo abierto. Del lado propietario, NVIDIA promociona DFlash como un marco de decodificación especulativa optimizado para Blackwell, y asegura aceleraciones de inferencia de hasta 15× en cargas multiagente de baja latencia. Es una cifra del proveedor, atada a su propio silicio, así que conviene leerla como una afirmación de titular, no como una medición independiente.

Del lado abierto, DeepSeek lanzó DSpark, un módulo borrador que se acopla a los pesos existentes de DeepSeek-V4 y que, según se informa, es 57–85% más rápido por usuario que el enfoque anterior, con calidad de salida idéntica; se publicó como código abierto, con los pesos del módulo (checkpoints) y el código de entrenamiento. El contraste es justamente lo importante: la misma técnica llega como un marco cerrado y atado al hardware, y también como uno publicado abiertamente que cualquier equipo puede desplegar sobre los pesos que ya ejecuta. Como siempre, las afirmaciones son del proveedor hasta que se midan de forma independiente, pero la dirección es clara: los marcos de aceleración, y no solo los modelos, ya forman parte de la historia de competencia y costos que sigue este sitio. Para saber quién convierte esto en rendimiento servido, vea la capa de inferencia administrada.