Reame

Reame 是一个基于 llama.cpp 的以 CPU 为优先的 LLM 推理服务器，带有 OpenAI 兼容的 API。专为在廉价硬件上处理窄且重复的工作负载而构建——例如 5 欧元的 VPS、免费层级、双核 ARM 服务器。其内存层将提示词、前缀和过往生成内容缓存到磁盘，因此第 100 个请求的成本仅为第 1 个请求的一小部分。MIT 许可证。