Umbra

大多数有用的开源模型仍然没有托管的API。你要么租用GPU，要么让Mac整夜运行，要么将提示发送到可以读取它们的地方。Umbra是我的实验：一个OpenAI兼容的端点（也兼容Anthropic），苹果硅所有者可以在其中托管他们批准的公共Hugging Face GGUFs。你更换base_url，保持现有的客户端，按令牌付费。试试：https://tryumbra.dev 快速入门：https://tryumbra.dev/docs/quickstart 托管Mac：https://tryumbra.dev/setup