想在离线状态下用开源模型,或者干脆不让数据离开本机,光是配环境、转格式就能耗掉半天。Ollama 把这件事收敛成命令行的形式:拉取模型、运行、并在本机起一个服务接口供其他工具调用,多个模型可以并存按需切换。它是开源项目,能跑多大的模型取决于你这台机器的内存与磁盘,模型库的可用性以站点当前页面为准。
主要功能
- 命令方式下载并运行开源模型
- 在本机提供服务接口,可被应用直接调用
- 多个模型并存,按任务切换
- 支持导入或转换已有的模型文件
- 主流桌面系统均可安装,配置项少
适合谁用
- 想在笔记本或工作站上离线跑模型
- 给本地的对话客户端配一个模型后端
- 需要对比几个模型在同一任务上的表现
- 内容敏感,不希望离开自己的机器
怎么开始
- 先装好并跑一个体量较小的模型,确认速度能接受
- 按本机内存与磁盘情况决定模型规模,别一上来求大
- 需要接应用时,用它的本地服务地址对接