Ferrum

Ferrum 是一个开源的、基于 Rust 的运行时，用于在 Apple Silicon Metal 和 NVIDIA CUDA 上运行和提供本地语言模型。一个二进制文件提供交互式 CLI 以及与 OpenAI 兼容的 Chat Completions 和 Responses API，无需在运行时要求 Python、PyTorch 或 vLLM。明确选择模型，在本地运行，或通过 HTTP 暴露相同模型。