用于异构本地集群的分布式LLM推理框架。具有零拷贝SPSC环形缓冲区、自动调优和OpenAI兼容的API功能。- rwilliamspbg-ops/Ghostlink
该工具在 Product Hunt 上有 3 条评论。
该工具在 Product Hunt 上有 3 条评论。
在 Product Hunt 上查看评论 →