mlx-serve

面向 Apple Silicon 的原生 Zig 推理服务器——无需 Python，无需 conda。仅一个二进制文件。在 Gemma 4 E4B 4-bit 模型上，解码速度比 LM Studio 快 35% 以上。作为 Ollama（/api/chat、/api/generate）的即插即用替代品，并在同一端口提供完整的 OpenAI 和 Anthropic API。超越聊天功能：支持本地图像生成（FLUX.2 + Krea-2）、带音频的视频生成（LTX-Video）、语音克隆（Qwen3-TTS + ECAPA-TDNN），以及在 Virtualization.framework 隔离 Linux VM 中运行的智能体。免费提供 macOS 菜单栏应用。