Autoalojado:Clúster de GPU1.6T total / 49B active (MoE)
FP4+FP8 ~862GBFP16 ~3.2TB
8× H200 141GB (single node), or 16× H100 across 2 nodes
Full precision, max quality. KV cache is only ~10GB even at 1M tokens (sparse attention + Engram memory). Self-host economics close ~3–4B tokens/day — below that the API is cheaper.
Resultados por prueba
⚡Ping
Latencia y disponibilidad: respuesta de una palabra
816 ms
🧮Razonamiento
Razonamiento matemático básico: mostrar el procedimiento y dar la respuesta
1419 ms
{ }Salida JSON
Cumplimiento de salida estructurada: JSON válido con las claves requeridas
3389 ms
💻Generación de código
Generar una función de Python con docstring
14330 ms
🚀Velocidad
Velocidad de generación de tokens: respuesta larga de 500 tokens