如何在端侧安装LLM（以香橙派为例）

📌 关键要点

端侧（本地设备）部署大语言模型，核心套路是 Ollama + GGUF 单文件导入：从国内镜像下载模型文件 → SHA256 校验 → ollama create 导入，完全绕开 ollama pull 官方源下载慢的问题。

• 实测成功：Qwen2.5-3B（Q4_K_M，2.1GB）在香橙派 5 Plus 上正常对话
• 下载加速：ModelScope 浏览器直链可达 12MB/s（对比 ollama pull 官方源几乎拉不动）
• 适用设备：RK3588 系列开发板、无 GPU 的本地服务器（CPU 推理）

一、为什么选择端侧安装 LLM

1.1 端侧部署的收益

• ✅ 零 API 成本：模型本地运行，无调用费用
• ✅ 数据隐私：数据不出设备，完全本地处理
• ✅ 离线可用：无需互联网连接
• ✅ 延迟可控：不依赖外部服务稳定性

1.2 端侧推理的两条技术路线

香橙派上实际跑过的两条路线对比：

💡 Ollama 官方不支持 RK3588 的 NPU，只能 CPU 推理；若要发挥 NPU 算力需用瑞芯微自家的 RKLLM 工具链，详见 RKLLM 模型转换工具链。

二、核心思路：为什么不用 ollama pull

ollama pull 从官方源（registry.ollama.ai）下载模型，国内网络下基本拉不动（速度极慢甚至超时）。

绕过方法：从国内可访问的镜像站直接下载 GGUF 单文件，再用 ollama create 本地导入：

ollama pull qwen2.5:3b      # ❌ 官方源，慢
下载 GGUF → ollama create   # ✅ 国内镜像 12MB/s

三、安装步骤（实测流程）

3.1 前提条件

• Ollama 已安装（香橙派的安装方法见 香橙派安装Ollama）
• 磁盘剩余空间 ≥ 模型大小 × 2（导入时先复制再入库）

3.2 下载 GGUF 单文件

方式 A：ModelScope（阿里云，国内满速，推荐）

https://modelscope.cn/models/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/master/qwen2.5-3b-instruct-q4_k_m.gguf

方式 B：hf-mirror（HuggingFace 官方国内镜像）

https://hf-mirror.com/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf

浏览器直接打开即可下载，实测 12MB/s；也可在板子上用 wget。

💡 量化后缀含义：q4_k_m = Q4_K_M 量化（4bit 权重），在体积与精度间最平衡，是 Ollama 的默认量化级别。

3.3 校验下载完整性

2.1GB 的大文件下载容易损坏，务必校验 SHA256（错误值会直接导致导入失败）：

echo "626b4a6678b86442240e33df819e00132d3ba7dddfe1cdc4fbb18e0a9615c62d  qwen2.5-3b-instruct-q4_k_m.gguf" | sha256sum -c -

输出 qwen2.5-3b-instruct-q4_k_m.gguf: OK 表示完整。

3.4 写 Modelfile 并导入

GGUF 和 Modelfile 必须在同一目录（FROM 是相对路径）：

cd ~/software/ollama    # 换成你的目录
cat > Modelfile <<'EOF'
FROM ./qwen2.5-3b-instruct-q4_k_m.gguf
EOF

ollama create qwen2.5:3b -f Modelfile

看到 success 即完成，模型名就叫 qwen2.5:3b。

3.5 验证

ollama list                          # 确认模型在库
ollama run qwen2.5:3b "你好"          # 试聊一句

3.6 清理源文件（可选）

导入后模型已复制进 ~/.ollama/models，源 GGUF 可删除省空间：

rm ~/software/ollama/qwen2.5-3b-instruct-q4_k_m.gguf

四、实测记录（2026-08-27，香橙派 5 Plus）

4.1 完整操作日志

orangepi@orangepi5plus:~/software/ollama$ ls
ollama-linux-arm64.tar.zst  qwen2.5-1.5b-instruct-q4_k_m.gguf  qwen2.5-3b-instruct-q4_k_m.gguf

orangepi@orangepi5plus:~/software/ollama$ echo "626b4a6678b86442240e33df819e00132d3ba7dddfe1cdc4fbb18e0a9615c62d  qwen2.5-3b-instruct-q4_k_m.gguf" | sha256sum -c -
qwen2.5-3b-instruct-q4_k_m.gguf: OK

orangepi@orangepi5plus:~/software/ollama$ cat > Modelfile <<'EOF'
FROM ./qwen2.5-3b-instruct-q4_k_m.gguf
EOF

orangepi@orangepi5plus:~/software/ollama$ ollama create qwen2.5:3b -f Modelfile
gathering model components
copying file sha256:626b4a6678b86442240e33df819e00132d3ba7dddfe1cdc4fbb18e0a9615c62d 100%
parsing GGUF
verifying conversion
creating new layer sha256:bb1dcd1ea66dafcab13264fca004379d69d149fe75de954344305fc42e846137
writing manifest
success

orangepi@orangepi5plus:~/software/ollama$ ollama list
NAME            ID              SIZE      MODIFIED
qwen2.5:3b      5ec3e3ab6cb9    2.1 GB    27 seconds ago
qwen2.5:1.5b    41382a9491bf    1.1 GB    2 days ago

orangepi@orangepi5plus:~/software/ollama$ ollama run qwen2.5:3b "你好"
你好！有什么我可以帮助你的吗？

4.2 当前模型清单

五、1.5B 还是 3B？怎么选

5.1 官方 benchmark 差距（Qwen2.5 Technical Report）

5.2 香橙派上的实际代价

5.3 结论

• 瞎聊、问概念 → 1.5b 够用
• 写代码、算数、多步任务 → 3b 靠谱度提升明显，值得换
• 7B 及以上在 8GB 板子上 CPU 推理太慢（1-2 T/s），不建议

六、接入应用（以 assistant 模块为例）

Ollama 提供 OpenAI 兼容接口 http://127.0.0.1:11434/v1，应用侧只需通过环境变量切换模型，无需改代码：

echo 'export OLLAMA_MODEL=qwen2.5:3b' >> ~/.bashrc && source ~/.bashrc
# 重启 seasentry 服务，/assistant/ 页面的「本地 Qwen」即走 3b

七、参考资料

📖 模型与文件源： - Qwen2.5-3B-Instruct-GGUF（ModelScope） - Qwen2.5-3B-Instruct-GGUF（HuggingFace） - Qwen2.5 官方技术博客 - Ollama 官网

🔗 相关笔记： - 香橙派安装Ollama - 大语言模型选择指南 - 公司服务器Ollama本地大模型部署情况 - 香橙派RKLLM-Qwen3模型踩坑记录（0.6B-4B）

📝 创建时间：2026-08-27
📱 设备：香橙派 5 Plus（RK3588 / 8GB）
🚀 推理方式：Ollama CPU 推理
⚡ 下载速度：ModelScope 直链约 12MB/s