WAIL

WAIL是一个本地AI运行时控制和治理层。它检测不健康的模型行为，并在有理由干预时可以重试或重新路由。决策可以应用于下一个请求，而授权计划可以在TTFT（首次响应时间）下降时重新路由正在进行的请求，在第一个token之前。WAIL记录发生事件的原因和经过的签名证据。它包装您现有的供应商SDK；它不是网关。提示、响应和API密钥保留在您的环境中。