Kimi K3 技术报告解读

💡 核心亮点

Kimi K3 是月之暗面（Moonshot AI）于 2026 年 7 月 27 日发布的最新一代 MoE 大模型，并已将完整权重（open weight）上传至 HuggingFace 和 ModelScope。

2.8T 总参数，每次推理激活 104B（激活率仅 3.7%），是目前参数量最大的 open weight MoE 模型

896 个路由专家，每 token 仅激活 16 个（Stable LatentMoE），训练效率比 K2 提升 2.5×

100 万 token 上下文 + 原生视觉能力，Kimi Delta Attention 与 Attention Residuals 联合优化

多领域强化学习后训练（通用 / Agent / 代码 / 多推理深度），支持组合泛化与长链执行

一、模型规格

指标	数值
总参数	2.8T（2.8 万亿）
激活参数	104B（1040 亿）
激活率	104B / 2800B ≈ 3.7%
路由专家数	896 个
每 token 激活专家	16 个
上下文长度	100 万 token
多模态	原生视觉（训练时即融入）
发布形式	Open weight（HuggingFace + ModelScope）
许可证	Kimi K3 License

1.1 与其他模型对比

模型	总参数	激活参数	激活率	上下文
DeepSeek-V3	671B	37B	5.5%	128K
Qwen2.5-Max	~1T	~50B	~5%	128K
Kimi K3	2.8T	104B	3.7%	1M

MoE 模型的核心思想：用巨大的"知识库"（总参数）训练，但每次推理只激活极少数"专家"，兼顾知识密度与推理成本。K3 的 3.7% 激活率是目前最极端的稀疏设计。

二、架构创新

2.1 Stable LatentMoE

不同于传统 MoE 在 token 空间直接选专家，K3 在压缩的隐空间（latent space）中进行路由：

896 个专家中每 token 激活 16 个，这种极端稀疏比例在传统 MoE 中极易出现路由坍塌（所有 token 都选某几个专家，其余闲置）
LatentMoE 在隐空间路由，让专家选择更稳定、负载更均衡
相较 K2，整体规模效率提升 2.5 倍（同等算力投入产出 2.5 倍的性能提升）

2.2 Kimi Delta Attention（KDA）

针对 100 万 token 超长上下文 设计的注意力机制
传统 self-attention 在超长序列上计算量呈平方增长，Delta Attention 采用差分 / 压缩方案降低计算开销
与 Attention Residuals 配合，跨序列长度不丢失上下文信息

2.3 Attention Residuals

类似 ResNet 在 CNN 中的残差连接思想，但作用于注意力层
确保深层网络不会丢失浅层信息，防止深度退化
两条创新合在一起：跨长度（KDA）+ 跨深度（Attention Residuals），信息流动不受阻

2.4 "Per Token" 路由的含义

MoE 的粒度非常细——不是整句话选择专家，而是每个 token 独立路由：

输入: "今天天气很好"
      ↓       ↓       ↓      ↓
    专家3,45  专家7,156  专家45,88  专家3,201
    (16个)    (16个)     (16个)    (16个)

"数学词"走数学专家、"代码词"走代码专家、"视觉 token"走视觉专家，最大化专家利用率。

三、后训练（Post-Training）

3.1 多领域强化学习

领域	内容
General RL	通用对齐，类似 RLHF
Agentic RL	训练模型像 Agent 一样多步决策和执行
Coding RL	代码任务的专门强化学习
多推理深度	支持"简单想"和"深入想"两种模式，类似推理深度可调

3.2 关键能力

组合泛化（Compositional Generalization）：将 A 领域能力 + B 领域能力组合为新能力，不需要针对每种组合额外训练
长链鲁棒执行（Long-Horizon Execution）：几十步操作的任务能稳定执行到底，不中途崩溃

四、基础设施

挑战	解决方案
KDA 计算密集	算法-系统协同设计：为 Delta Attention 编写专用 kernel
896 专家负载均衡	完美均衡的专家并行：每个 GPU 分摊工作量完全对齐
100 万 token RL 训练	持久 rollout + sandbox 状态：长链 Agent 任务在沙箱中保持状态
推理部署	有专门优化，报告中未完全展开

五、模型获取

K3 已于 2026 年 7 月 27 日 "K3 开放日" 发布，可下载完整权重：

HuggingFace：moonshotai/Kimi-K3
ModelScope：MoonshotAI/Kimi-K3
技术报告：随模型权重一同发布
许可证：Kimi K3 License（需确认商用条款）

六、关键术语速查

术语	解释
MoE	Mixture of Experts，混合专家架构：多个专家子网络，每次只激活一部分
Activated Parameters	激活参数：每次推理实际参与计算的参数量，不等于总参数量
Stable LatentMoE	在隐空间做路由的 MoE 变体，避免传统 MoE 的路由坍塌问题
KDA (Kimi Delta Attention)	Kimi 自研的长上下文注意力机制，基于差分思想降低计算量
Attention Residuals	注意力层的残差连接，防止深层网络的信息丢失
Compositional Generalization	组合泛化：将已学能力组合解决新问题，无需额外训练
Open Weight	开放权重：可下载模型权重文件，不等于完全开源（受 License 约束）

📖 资料来源： - Kimi K3: Open Frontier Intelligence（技术报告） - 月之暗面官方公告 — K3 开放日 - HuggingFace: moonshotai/Kimi-K3

📝 创建时间：2026-07-30
🔬 来源：Kimi K3 Technical Report（47 页）
🔗 相关笔记：大语言模型选择指南