模型要給多個應用或一批人同時用，單機腳本很快就撐不住。vLLM 是 GitHub 上的開源推理與服務框架，把請求組織成批次排程，並對外提供常見格式的服務端點，偏生產部署一側使用。它需要自備算力資源，支援的模型架構與硬體要求隨版本變化，以專案倉庫目前文件為準；上線前還要自己配好身分驗證與限流。
主要功能
- 批次排程提升吞吐，適合併發請求情境
- 對外提供常見格式的推理服務端點
- 支援多種主流開源模型架構
- 面向長上下文與服務化部署有對應機制
- 常與容器化方式一起部署
適合誰用
- 團隊要把模型服務給多個內部應用呼叫
- 併發上來後需要評估吞吐與排隊策略
- 要配置長上下文或結構化輸出的服務
- 需要在自己伺服器上對外提供模型 API
怎麼開始
- 先在一台測試機上把它跑起來，用真實併發壓一遍
- 根據觀測資料決定批次處理與併發參數
- 上線前配好身分驗證與限流，不要把裸 API 直接對外
