開源模型要在各種硬體上跑起來，常見的坎是格式不合、記憶體不夠。llama.cpp 是 GitHub 上的開源 C++ 推理專案，圍繞 GGUF 量化格式做模型轉換與跨平台執行，附帶命令列工具和伺服器形態，也是不少本機應用底層依賴的庫。它面向開發者：需要自己編譯或取發行版，用法與支援的硬體以倉庫 README 和目前文件為準。
主要功能
- C++ 實作的推理庫，支援多種硬體後端
- 圍繞量化格式工作，降低記憶體佔用
- 可在伺服器、桌面與行動平台編譯執行
- 附帶命令列工具與伺服器形態
- 被大量本機推理應用作為底層依賴
適合誰用
- 要在資源有限或非主流顯示卡的環境上跑模型
- 自己寫工具時需要嵌入推理能力
- 需要把權重轉成量化格式再散佈
- 排查其他客戶端的格式相容問題
怎麼開始
- 按倉庫的安裝說明在自己的平台上編譯或取發行版
- 先用一個較小的量化模型驗證能否跑通
- 再考慮服務化執行與併發相關的參數調整
