VernLLM

VernLLM是一款轻量级的弹性层，用于处理LLM客户端的重试、超时、断路器、缓存、速率限制、可观察性和跨提供商的回退。与OpenAI、Anthropic、Bedrock、Gemini和30+提供商兼容。获取schema验证的输出，缓存合并，工具调用和流式传输。框架无关和适配器基于，因此你可以轻松切换提供商。它是为了让团队节省维护LLM基础设施的冲刺和事件而设计的