oMLX
Ideal Für
Führe lokale Coding-Agenten auf Apple Silicon aus
Teste das Werkzeugaufrufen und MCP-Workflows offline
Biete lokale LLMs, Embeddings und Reranker an
Baue private Chat-Apps mit einem lokalen Backend
Wichtige Stärken
Private On-Device-Inferenz: Daten verlassen Ihren Rechner nie
Ultraniedrige Latenz: lokales SSD-KV-Caching
OpenAI- und Anthropic-kompatible APIs: einfache Integration
Kernfunktionen
Paginierte SSD KV-Caching: Reduziert die Zeit bis zum ersten Token
Kontinuierliches Batching: Höhere Durchsatzrate
OpenAI-kompatible APIs: Einfache Cloud-Kompatibilität
Anthropic-kompatible APIs: Breiter Modellzugang
Native macOS-Menüleisten-App: Schnelle Kontrolle