想在離線狀態下用開源模型,或者乾脆不讓資料離開本機,光是配環境、轉格式就能耗掉半天。Ollama 把這件事收斂成命令列的形式:拉取模型、執行,並在本機起一個服務端點供其他工具呼叫,多個模型可以並存按需切換。它是開源專案,能跑多大的模型取決於你這台機器的記憶體與磁碟,模型庫的可用性以站點目前頁面為準。
主要功能
- 命令方式下載並執行開源模型
- 在本機提供服務端點,可被應用直接呼叫
- 多個模型並存,按任務切換
- 支援匯入或轉換已有的模型檔案
- 主流桌面系統均可安裝,設定項少
適合誰用
- 想在筆記型電腦或工作站上離線跑模型
- 給本機的對話客戶端配一個模型後端
- 需要對比幾個模型在同一任務上的表現
- 內容敏感,不希望離開自己的機器
怎麼開始
- 先裝好並跑一個體量較小的模型,確認速度能接受
- 按本機記憶體與磁碟情況決定模型規模,別一上來求大
- 需要接應用時,用它的本機服務位址對接