模型要给多个应用或一批人同时用，单机脚本很快就撑不住。vLLM 是 GitHub 上的开源推理与服务框架，把请求组织成批量调度，并对外提供常见格式的服务接口，偏生产部署一侧使用。它需要自备算力资源，支持的模型架构与硬件要求随版本变化，以项目仓库当前文档为准；上线前还要自己配好鉴权与限流。
主要功能
- 批量调度提升吞吐，适合并发请求场景
- 对外提供常见格式的推理服务接口
- 支持多种主流开源模型架构
- 面向长上下文与服务化部署有对应机制
- 常与容器化方式一起部署
适合谁用
- 团队要把模型服务给多个内部应用调用
- 并发上来后需要评估吞吐与排队策略
- 要配置长上下文或结构化输出的服务
- 需要在自己服务器上对外提供模型接口
怎么开始
- 先在一台测试机上把它跑起来，用真实并发压一遍
- 根据观测数据决定批处理与并发参数
- 上线前配好鉴权与限流，不要把裸接口直接对外
