端侧NPU大模型部署方案全景

📌 一句话理解

所有厂商的 NPU 大模型部署都遵循同一套路：HF/PyTorch 模型 → 专有编译工具（PC 端）→ 专有格式 → 专有 Runtime（芯片端）。

• 与 RKLLM 定位最相似的是算能 LLM-TPU 和爱芯元智 Pulsar2
• 每家 NPU 都有自己的模型格式和版本对齐要求（硬件绑定生态）
• 唯一试图打破割据的是跨平台的 ONNX Runtime

一、通用部署模式

无论哪家厂商，流程都是四步：

HF/PyTorch 模型 → 专有编译工具（PC 端）→ 专有格式 → 专有 Runtime（芯片端）

以瑞芯微为参照系：

RKLLM:  HF 模型 → RKLLM-Toolkit（PC）→ .rkllm → RKLLM Runtime（板端）
算能:   HF 模型 → TPU-MLIR（PC）     → .bmodel → tpu-runtime（板端）

代价：模型不能跨芯片运行，编译工具与 Runtime 版本必须严格一致（RKLLM 的"版本对齐铁律"在每家都成立）。

二、嵌入式 SoC 方案（RKLLM 直接竞品）

定位：边缘盒子 / 开发板跑 LLM，与瑞芯微正面竞争。

算能 LLM-TPU

开源项目（GitHub: sophgo/LLM-TPU），与 RKLLM 几乎一一对应：

1. 模型支持：
   Llama3.1、Qwen3、ChatGLM4、Gemma2、DeepSeek-R1-Distill 等
2. 高级特性：
   多核并行、投机采样（LookaheadDecoding）、prefill cache 复用
3. 部署形态：
   支持 PCIE 加速卡和 SoC 两种模式
4. 量化建议：
   优先用 AWQ / GPTQ 量化模型，或用 llmc-tpu 从浮点模型校准

爱芯元智 Pulsar2

自研工具链 + 配套 SDK，模型仓库已上架 Hugging Face 和 ModelScope（超 200 个）。AX8850 集成八核 A55 + 24 TOPS NPU，已推出 SDK 社区版开放全部核心资料。

三、手机端 NPU 方案

四、PC 端 NPU 方案

五、服务器/云端方案（华为昇腾）

• CANN（对标 CUDA）+ MindIE 推理引擎 + MindSpore Lite
• 定位偏数据中心和 Atlas 卡，端侧有适配但生态重心不在开发板
• 国产训练算力主力（GLM、Qwen 等旗舰模型的核心训练平台之一）

六、跨平台尝试：ONNX Runtime

微软主导的跨平台推理框架，试图打破各家 NPU 割据：

1. 机制：
   通过各厂商的 Execution Provider 接入高通 QNN、Intel NPU 等
2. 目标：
   同一个 ONNX 模型跑在不同 NPU 上，无需为每家单独编译
3. 现状：
   对 LLM 的支持还不如各家原生方案成熟，仍在演进

七、选型参考

📖 相关笔记： - 大语言模型量化技术速览 — 各方案的量化原理（W8A8 / Q4_K_M / FP8） - 瑞芯微RKLLM Server：NPU上的大语言模型推理服务 — RKLLM 实际部署详解 - 瑞芯微AI模型文件格式（.rkllm与.rknn） — 瑞芯微专有格式详解

📖 资料来源： - sophgo/LLM-TPU GitHub 项目 - Cross-Platform Edge AI Made Easy with ONNX Runtime — Microsoft - Edge AI 2026: Running AI Models on Devices — Complete Guide