用于LLM推理GPU选型的确定性VRAM计算和经过验证的吞吐量模型。选择模型、量化方式和上下文长度——在100多个GPU上获得关于适配性、速度和成本的实数,经19个已发布基准测试验证,中位误差为11.3%。免费,无需信用卡。
该工具在 Product Hunt 上有 1 条评论。
该工具在 Product Hunt 上有 1 条评论。
在 Product Hunt 上查看评论 →