各家供應商的宣傳口徑互相不在一個座標系上，很難直接比較。Artificial Analysis 用相對統一的測量方法，把不同模型的反應延遲、生成吞吐和成本維度放到同一張圖上，幫助判斷誰更適合自己這類任務。它是獨立評測站點，資料會隨模型版本與執行環境更新；部分指標提供 API 取數。看相對位置即可，結論仍要靠自己壓測。
主要功能
- 把不同供應商的指標放進同一座標系比較
- 延遲與吞吐按統一方法測量
- 成本維度正規化，便於看相對位置
- 同時提供能力與執行效率兩類檢視
- 部分資料提供 API 供開發者取用
適合誰用
- 關心同一個 API 下模型的反應快慢
- 批次生成任務需要看吞吐的相對差異
- 要在成本維度上比較不同供應商的相對位置
- 需要向別人解釋選型依據時的參考來源
怎麼開始
- 先明確自己更在意延遲還是吞吐
- 在圖上圈出兩三個候選，再回官網看各自的支援情況
- 用自己的真實請求壓測一輪，驗證與圖表方向是否一致
