oMLX

oMLX 将您的 Mac 变为完整的 LLM 推理服务器，可通过菜单栏运行。它提供文本、视觉、OCR、嵌入和重新排序模型，支持连续批处理，并具有可在重启后存活的 RAM+SSD 分层 KV 缓存，因此 Claude Code 和 Cursor 的响应时间约为 5 秒而非 90 秒。OpenAI 和 Anthropic 兼容的 API 可直接接入。原生 Swift，非 Electron。Apache 2.0，开源。