Running Mistral Small 4 119B NVFP4 on NVIDIA DGX Spark (GB10) - DGX Spark / GB10 User Forum / DGX Spark / GB10 - NVIDIA Developer Forums

Running Mistral Small 4 119B NVFP4 on NVIDIA DGX Spark (GB10) - DGX Spark / GB10 User Forum / DGX Spark / GB10 - NVIDIA Developer Forums - live-saver Diskussion in den NVIDIA Foren. Mit dem was da steht habe ich Mistral Small 4 zum Fliegen bekommen. Und es läuft sauber mit 150K Context und 100 Token/Sekunde in der Generierung. Wow. Das ist das erste Mal, dass ich die Power der Kiste wirklich bemerke.