先分清楚四类工具

Ollama 是命令行的模型管理器和运行环境,拉模型、起服务都靠它;Jan 是有图形界面的本地对话工具,装好就能聊;AnythingLLM 做的是知识库,把文档喂进去做检索问答;Cherry Studio 是多模型客户端,本地模型和云端 API 都往里塞,统一切。

按需求选一个就够

想给自己的程序调本地接口,装 Ollama;只是想离线聊两句,装 Jan;有一堆 PDF 要问,装 AnythingLLM;同时用好几个模型、懒得来回切网页,装 Cherry Studio。四个全装的结果通常是四个都只打开过一次。

显存比教程里说的更现实

跑之前先看显卡显存,再决定模型参数量和量化档位。同一模型不同量化,速度和回答质量差得不少,笔记本上别硬上大参数。另外,本地模型的中文表现和云端旗舰有差距是正常现象,用它处理不想外传的资料,比拿它跟在线模型比写诗更合理。

一句话收尾:本地跑模型的价值是数据不出门、账单为零,不是复制一个 ChatGPT。想明白这个,选型就简单了。