Autoalojado:Varias GPU284B total / 13B active (MoE)
FP4+FP8 ~158GBQ4 ~170GB
2× H200, or 2× RTX Pro 6000 Blackwell
The practical self-host sweet spot — MIT, 1M context, fits 2× H200 with room for full context. Its 1M KV cache is only ~10GB thanks to sparse attention.
Resultados por prueba
⚡Ping
Latencia y disponibilidad: respuesta de una palabra
3997 ms
🧮Razonamiento
Razonamiento matemático básico: mostrar el procedimiento y dar la respuesta
5482 ms
{ }Salida JSON
Cumplimiento de salida estructurada: JSON válido con las claves requeridas
5174 ms
💻Generación de código
Generar una función de Python con docstring
8664 ms
🚀Velocidad
Velocidad de generación de tokens: respuesta larga de 500 tokens