thushan/olla: High-performance lightweight proxy and load balancer for LLM infrastructure. Intelligent routing, automatic failover and unified model discovery across local and remote inference backend

thushan/olla: High-performance lightweight proxy and load balancer for LLM infrastructure. Intelligent routing, automatic failover and unified model discovery across local and remote inference backend ist nach dem Debakel von LiteLLM (gehackte supply-chain mit Datenextraktor im Paket) vielleicht die bessere Wahl. Für mich auf jeden Fall interessant, weil ich einfach nur zwei Modelle betreiben will und diese unter einem Endpunkt verfügbar machen will, und da sind alle anderen Pakete deutlicher Overkill.