antirez/ds4: DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm ist ein ziemlich interessantes Projekt, mit dem Deepseek (spezielle Q2 Quants) möglichst effizient auf verschiedenen UMA Notebooks läuft. Unterstützt sind MacBook, DGX Spark und ROCm Strix Halo Rechner. Ziemlich cool, wenn das auch funktioniert - Deepseek V4 Flash ist schon ziemlich gut als Basismodell für verschiedene Zwecke, wie zum Beispiel als Main-Modell für Hermes.