Ollama：在 NAS 上跑 DeepSeek 的蒸馏模型，断网也能问
18.5 万 star 的本地模型运行器。装完一条命令就能拉 DeepSeek-R1 的 1.5B/7B/8B 蒸馏版，配 Open WebUI 或 Chatbox 当后端。
前面十几篇都是"调 API"。这一篇是另一条路：模型跑在你自己的机器上。
Ollama 是这件事目前最简单的工具。18.5 万 star，地址：
https://github.com/ollama/ollama
它负责下载模型、加载模型、对外提供一个兼容 OpenAI 的接口。剩下的界面你来挑。
先说清楚能跑到什么程度
这里要泼一盆冷水：你跑的不是满血 DeepSeek。
真正的 DeepSeek-V3 是 671B 参数，需要几百 GB 显存，家用量级够不着。Ollama 里能跑的是 DeepSeek-R1 的蒸馏版：1.5B、7B、8B、14B、32B 等，本质是把 R1 的推理能力蒸馏到小模型上。
| 模型 | 大小 | 大概需要 | 效果 |
|---|---|---|---|
deepseek-r1:1.5b | 1.1 GB | 4 GB 内存 | 能聊，容易胡说 |
deepseek-r1:7b | 4.7 GB | 8 GB | 日常问答可用 |
deepseek-r1:8b | 4.9 GB | 8–12 GB | 略好于 7b |
deepseek-r1:14b | 9 GB | 16 GB | 明显更靠谱 |
deepseek-r1:32b | 20 GB | 24 GB+ / 独显 | 接近可用的推理 |
有独显（N 卡 8 GB 以上）体验会好很多，纯 CPU 跑 7B 大概每秒几个字，能忍，但别指望流畅对话。
装
官方脚本：
curl -fsSL https://ollama.com/install.sh | sh
或者 Docker：
services:
ollama:
image: ollama/ollama
container_name: ollama
ports: ["11434:11434"]
volumes: ["./ollama:/root/.ollama"]
restart: unless-stopped
docker compose up -d
docker exec -it ollama ollama run deepseek-r1:7b
第一次会下载模型，几 GB，看网速。
拉模型与测试
ollama pull deepseek-r1:7b
ollama run deepseek-r1:7b "用一句话解释什么是 RAID 5"
看到它开始吐字就成了。
其他值得拉的：
ollama pull qwen2.5:7b # 中文更强，日常问答
ollama pull nomic-embed-text # 做知识库要用的 embedding
配一个界面
Ollama 自己只有命令行。要用得舒服，接一个前端：
- Open WebUI：最完整，站里有专门一篇；
- Chatbox / Cherry Studio：填
http://NAS地址:11434就能连； - Lobe Chat：也支持。
接了界面之后，你就有了一个完全离线、数据不出门的 AI。
什么时候该用它，什么时候别用
该用：断网环境、隐私敏感内容、不想为每次提问付费、想试试本地模型到底能做到什么程度。
别用：需要高质量长文写作、复杂代码重构、多语言精确翻译——这些还是老老实实用 API，成本也不高。
最好的用法是混合：日常闲聊用本地 7B（免费），遇到难的上 API（几毛钱）。
会踩的坑
下载慢到几乎不动 模型库在境外。挂代理，或者用国内镜像（很多镜像站提供相同模型）。
内存不足直接被杀
docker logs 看是不是 OOM。换更小的模型，或者加 --max-loaded-models 1。
跑起来但回复极慢
纯 CPU 就是这样。看看有没有装 GPU 驱动（ollama ps 会显示用的是 CPU 还是 GPU）。
模型名写错
deepseek-r1:7b 是 tag，漏了冒号部分会拉到别的。
占用磁盘
一个模型几个 G，拉多了很快几十 G。ollama list 看，ollama rm 删。
它适合谁
- 想体验本地 AI，不想每次都联网的；
- 有 NAS 且配置还行（16 GB 内存 / 独显）的；
- 想做私有知识库、需要一个 embedding 服务的。
不适合：只有 4 GB 内存的机器；期待"和网页版 DeepSeek 一样强"的人。
最后
本地模型的现实是：够用，但不够好。
可它有一个网页版永远给不了的东西——断网也在，谁都不知道你问了什么。
为了这个，很多人愿意接受它慢一点、笨一点。
有问题留言。
留言