模型與開發平台
共 4 個開源模型、模型託管、推理 API 與評測榜單
這一類不是給最終使用者用的介面，而是給要做產品或要私有部署的人準備的：可下載的開源權重、能一行命令跑起來的本機執行環境、按 token 計費的推理介面、以及用來橫向比較模型的評測網站。
選路徑時先確定一件事——資料是否必須留在本機。必須本機就選執行環境加開源權重；只是要接進自己的應用，用推理介面更省維護。
怎麼選
按限制條件選：
- 要離線或私有部署：本機執行環境加合適量級的開源權重，顯示記憶體決定能跑多大參數。
- 要接進應用但不想管機器：用推理平台 API，比較各家同類模型的延遲與每百萬 token 計價。計價數字請直接看官網。
- 要模型權重與資料集：到開源託管社群，注意每個權重各自的授權條款。
- 要橫向評測：看公開對戰榜單，注意榜單會隨模型更新重排。
- 中國大陸要備案與合規：優先中國大陸推理平台，配合自有內容與日誌稽核。
這個分類下沒有符合的工具。返回全部 →
常見問題
本機跑大模型需要什麼顯示卡？
取決於量化後的權重大小：7B 到 8B 量化權重可在 8GB 顯示記憶體的消費級卡上使用，14B 到 32B 需要更大的顯示記憶體或多卡。上下文長度也會佔用顯示記憶體，別只按參數估算。
開源模型的許可有什麼坑？
同名模型的不同版本許可可能不同，部分要求月活或營收超過門檻時另行授權，還有禁止用於特定用途的條款。整合到商業產品前請讀權重頁裡的許可證原文。
評測榜單能當選型依據嗎？
可以看相對強弱，不能當業務可用性的結論：榜單題目分布、判分模型和對戰樣本會共同影響排序。用你自己的十個真實任務測一輪，比任何榜單可靠。
多個模型供應商的介面能通用嗎？
多數平台提供與常見介面相容的形式，切換成本主要在參數差異、限流策略與計費口徑上。上線前用同一段請求驗證回傳結構與錯誤碼。