VernLLM

当您的 LLM 调用达到速率限制、超时或返回格式错误的 JSON 时会发生什么？使用 VernLLM，一切都能正常工作。一个类型化的 call() 封装了重试、超时、取消和自愈熔断器，跳过那些无法自行修复的错误的重试，例如错误的 JSON 或错误的密钥。通过原生 JSON Schema 模式获取类型化、Zod 验证的输出。缓存调用，跟踪每个请求的成本，插入您自己的日志记录器。一个接口适用于 OpenAI、Groq、Anthropic、Gemini、Bedrock 等更多服务。MIT 许可。