开源模型要在各种硬件上跑起来，常见的坎是格式不合、内存不够。llama.cpp 是 GitHub 上的开源 C++ 推理项目，围绕 GGUF 量化格式做模型转换与跨平台运行，附带命令行工具和服务端形态，也是不少本地应用底层依赖的库。它面向开发者：需要自己编译或取发行版，用法与支持的硬件以仓库 README 和当前文档为准。
主要功能
- C++ 实现的推理库，支持多种硬件后端
- 围绕量化格式工作，降低内存占用
- 可在服务器、桌面与移动平台编译运行
- 附带命令行工具与服务端形态
- 被大量本地推理应用作为底层依赖
适合谁用
- 要在资源有限或非主流显卡的环境上跑模型
- 自己写工具时需要嵌入推理能力
- 需要把权重转成量化格式再分发
- 排查其他客户端的格式兼容问题
怎么开始
- 按仓库的安装说明在自己的平台上编译或取发行版
- 先用一个较小的量化模型验证能否跑通
- 再考虑服务化运行与并发相关的参数调整
