mlx-serve

面向 Apple Silicon 的原生 Zig 推理服务器——无需 Python，无需 conda。仅一个二进制文件。在 Gemma 4 E4B 4-bit 模型上，解码速度比 LM Studio 快 35% 以上。可无缝替换 Ollama（支持 /api/chat、/api/generate），并在同一端口提供完整的 OpenAI 和 Anthropic API。超越聊天功能：支持本地图像生成（FLUX.2 + Krea-2）、带音频的视频生成（LTX-Video）、语音克隆（Qwen3-TTS + ECAPA-TDNN），以及在 Virtualization.framework 隔离 Linux VM 中运行的智能体。免费赠送 macOS 菜单栏应用。