各家供应商的宣传口径互相不在一个坐标系上，很难直接比较。Artificial Analysis 用相对统一的测量方法，把不同模型的响应延迟、生成吞吐和成本维度放到同一张图上，帮助判断谁更适合自己这类任务。它是独立评测站点，数据会随模型版本与运行环境更新；部分指标提供接口取数。看相对位置即可，结论仍要靠自己压测。
主要功能
- 把不同供应商的指标放进同一坐标系比较
- 延迟与吞吐按统一方法测量
- 成本维度归一化，便于看相对位置
- 同时提供能力与运行效率两类视图
- 部分数据提供接口供开发者取用
适合谁用
- 关心同一个接口下模型的响应快慢
- 批量生成任务需要看吞吐的相对差异
- 要在成本维度上比较不同供应商的相对位置
- 需要给别人解释选型依据时的参考来源
怎么开始
- 先明确自己更在意延迟还是吞吐
- 在图上圈出两三个候选，再回官网看各自的支持情况
- 用自己的真实请求压测一轮，验证与图表方向是否一致
