Inferbench

InferBench是一个供应商中立的CLI工具，可直接在您的硬件上基准测试本地LLM推理引擎，如omlx和llama.cpp。它不依赖外部指标，而是报告真实的、实测的每秒token数。InferBench自动检测引擎，运行固定提示集，并为您的设置推荐最快的配置。它是自托管的，采用Apache 2.0许可证。