Rondine

Rondine是一个用于本地LLM的开源控制平面。它能检测RAM和VRAM，推荐合适的模型，应用硬件调优设置，下载权重，并启动一个与OpenAI兼容的服务器。它通过llama.cpp、MLX-LM和vLLM支持Apple Silicon、NVIDIA GPU和DGX Spark。Rondine不创建另一个推理引擎，而是协调经过验证的运行时，并在执行前显示每个启动计划。