模型与开发平台：跑在自己机器上，或用 API 接进产品
共 7 个开源模型、模型托管、推理 API 与评测榜单
这一类不是给最终用户用的界面，而是给要做产品或要私有部署的人准备的：可下载的开源权重、能一行命令跑起来的本地运行时、按 token 计费的推理接口、以及用来横向比较模型的评测站点。
选路径时先确定一件事——数据是否必须留在本地。必须本地就选运行时加开源权重；只是要接进自己的应用，用推理接口更省维护。
怎么选
按约束条件选：
- 要离线或私有部署：本地运行时加合适量级的开源权重，显存决定能跑多大参数。
- 要接进应用但不想管机器：用推理平台 API，比较各家同类模型的延迟与每百万 token 计价。计价数字请直接看官网。
- 要模型权重与数据集：到开源托管社区，注意每个权重各自的许可协议。
- 要横向评测：看公开对战榜单，注意榜单会随模型更新重排。
- 国内要备案与合规：优先国内推理平台，配合自有内容与日志审计。
这个分类下没有匹配的工具。返回全部 →
常见问题
本地跑大模型需要什么显卡？
取决于量化后的权重大小：7B 到 8B 量化权重在 8GB 显存的消费级卡上可用，14B 到 32B 需要更大的显存或多卡。上下文长度也会占显存，别只按参数估。
开源模型的许可有什么坑？
同名模型的不同版本许可可能不同，部分要求月活或营收超过阈值时另行授权，还有禁止用于特定用途的条款。集成到商业产品前请读权重页里的许可证原文。
评测榜单能当选型依据吗？
可以看相对强弱，不能当业务可用性的结论：榜单题目分布、判分模型和对战样本会共同影响排序。用你自己的十个真实任务测一轮，比任何榜单可靠。
多个模型供应商的接口能通用吗？
多数平台提供与常见接口兼容的形式，切换成本主要在参数差异、限流策略与计费口径上。上线前用同一段请求验证返回结构与错误码。