LMCache – Building the foundation of AI memory tensor with KV Cache Infrastructure ist ein kv cache manager, der den cache über GPU Speicher und SSD verteilen kann und auch hilft, wenn ein Modell über mehrere Maschinen verteilt läuft. Ich selbst benutze ihn primär als offloader für kvcache auf die Platte beim Qwen3.6 27B, weil das einen etwas heftigeren Bedarf an Speicher für kvcache hat als das 35B Modell.