看懂 Kimi K3：2.8 万亿参数的开源前沿模型

写作日期：2026-07-20（发布后第 4 天）。本文所有关键数字经过多信源交叉核实，厂商自报且尚无法独立验证的数字均已单独标注。技术报告和权重预计 2026-07-27 前发布，届时部分结论需要更新（见文末"待解问题"）。

一句话总结

Kimi K3 是月之暗面 2026-07-16 发布的 2.8 万亿总参数稀疏 MoE 旗舰模型，靠混合线性注意力（KDA）+ 跨层残差检索（AttnRes）等一揽子架构改动把扩展效率做到 K2 的约 2.5 倍（官方口径），独立评测确认它站上了全球第三档——与 Claude Opus 4.8、GPT-5.5 同档，Agent 类任务是它最强的一面，但整体仍落后 Claude Fable 5 和 GPT-5.6 Sol。它同时承诺 7 月 27 日前开放全部权重，如果兑现，将是首个 3T 级别的开源模型。

一、基本档案

二、架构创新：相对 K2 改了什么

理解 K3 的变化，要先锚定 K2 的基线（K2 有公开技术报告 arXiv:2507.20534 和开放权重，是全文最扎实的部分）：

K2 基线：1.04T 总参数 / 32B 激活，注意力用 MLA（沿袭 DeepSeek-V3 设计，但专家数 256→384、注意力头 128→64），优化器用 MuonClip（Muon + 权重衰减 + RMS 匹配 + QK-Clip，通过更新后重缩放 Wq/Wk 抑制注意力 logits 爆炸），在 15.5T token 上预训练且全程零 loss 尖峰。

K3 在此基础上做了五组改动。下面先补一节预备知识（注意力、KV 缓存、MLA 是什么），再逐组拆解——不需要机器学习基础也能读，但会讲到机制层面。

0. 预备知识：注意力、KV 缓存与 MLA

注意力机制在算什么。模型把每个字（token）表示成一个几千维的向量。生成新字时，当前字要向前文所有字发起一次"查询"：当前字算出一个查询向量 q；前文每个字都备好两样东西——键向量 k（"我是什么"）和值向量 v（"我携带什么信息"）。注意力分三步：拿 q 和每个 k 算相似度得到分数 → 用 softmax 把分数归一化成权重 → 按权重加权求和所有的 v，得到"从前文调阅回来的信息"。直觉上就是按相关性翻档案。实际模型用的是多头注意力（MHA）：把这套流程并行做几十上百份，每份叫一个"头"，各头在不同的子空间里各看各的侧面（有的盯语法搭配，有的盯远距离指代），最后把各头结果拼接起来。

KV 缓存是长上下文的显存黑洞。生成是逐字进行的，前文每个字的 k 和 v 在整个生成过程中要被反复查询。为免每一步都重算，推理框架把它们全部存在显存里——这就是 KV 缓存。它的体积 = 层数 × 头数 × 每头维度 × 2（k 和 v 各一份）× 上下文长度，随文本长度线性膨胀。对几十层、上百头的大模型，上下文到几十万 token 时，KV 缓存能吃掉几百 GB，比模型权重本身还大。于是有了一条"压缩 k/v"的演进线：MQA 让所有头共用一份 k/v（省得最狠但伤质量）；GQA 让每组头共用一份（折中方案，Llama 系列采用）。

MLA（Multi-head Latent Attention，多头潜注意力）：用低秩压缩替代粗暴共享。DeepSeek-V2 提出，DeepSeek-V3 和 Kimi K2 沿用。核心想法：不直接缓存每个头的完整 k、v，而是先把每个字的信息压进一个很小的"潜向量"（低秩压缩，几百维），只缓存这个潜向量；使用时再通过上投影矩阵从潜向量恢复出各头的 k、v。数学上利用矩阵乘法结合律，上投影矩阵可以被吸收进查询和输出侧的矩阵里，恢复过程几乎不额外花时间。效果：KV 缓存压到 MHA 的几十分之一；又因为各头是从同一个潜向量差异化恢复的（不是 MQA 那种粗暴共用同一份），质量基本不掉，DeepSeek 的报告里甚至略优于 MHA。一句话：MLA = 全注意力的能力，几十分之一的缓存。

记住这条线索再往下看：K2 是纯 MLA 架构；K3 只在 1/4 的层保留 MLA（加了输出门控），另外 3/4 换成了下面要讲的 KDA——MLA 压的是"缓存"，KDA 动的是"计算本质"。

1. Kimi Delta Attention（KDA）：把 3/4 的注意力层换成线性注意力

K3 最大的架构变化，动的是注意力的计算本质。

全注意力为什么必然又慢又贵。预备知识里说了，每个新字要和前文所有字算一遍相似度：第 n 个字要算 n 次，全文下来总计算量按 n² 增长——文本长 10 倍，计算量涨 100 倍，100 万 token 时 n² 已是万亿量级。同时 KV 缓存随长度线性膨胀。MLA 压掉了缓存那一头，但"每个字回看全部历史"的 n² 计算本质没变。

线性注意力：把"翻档案"改成"记笔记"。去掉 softmax 之后，注意力在数学上可以改写成一个递推过程：维护一个固定大小的状态矩阵 S（可以理解为一块尺寸固定的记忆黑板），每读一个字，就把它的键值信息写上去（S ← S + v·kᵀ，一次外积写入）；轮到生成时，拿当前的查询 q 到黑板上取信息（输出 = S·q）。于是每个字的处理代价是常数，与前文多长无关——计算量随长度线性增长，"缓存"从随长度膨胀的 KV 变成固定一块黑板。代价也很本质：黑板尺寸固定，信息只能有损压缩，写多了互相覆盖，"从 80 万字前的合同里精确抠出某个数字"这类大海捞针会变差。这是线性注意力提出多年一直没能上位的原因。

delta 规则：先擦再写，黑板不糊。朴素线性注意力只写不擦，纯累加，越写越糊。delta 规则把写入改成三步：先拿新键 k 去黑板上查出旧值（S·k），算出旧值和新值 v 的差距，再按写入强度 β 做修正——更新式大意是 S ← S − β·(S·k − v)·kᵀ，即"先擦掉过时的那一块，再写上新的"。数学上这等价于对"黑板能否用 k 正确查出 v"这个目标做一步在线梯度下降，学界称为 DeltaNet 路线。KDA 是这条路线的门控加强版：给状态矩阵的每个通道配独立的遗忘门（细粒度对角门控），每个维度自己决定衰减多快、保留多久，并配套了分块并行算法让这种递推在 GPU 上高效训练——这正是月之暗面 2025 年 10 月 Kimi Linear 论文的核心贡献，KDA 之名即出于此。

K3 的混合配比与保底设计。全模型约 3/4 的层用 KDA（拿走线性注意力的成本曲线），每 4 层保留 1 层带输出门控的 MLA 全注意力。分工逻辑：线性层负责"大体记住、便宜地处理长流水"，稀疏保留的全注意力层负责"关键时刻回原文精确检索"——大海捞针的能力由这 1/4 兜底。Kimi Linear 论文在 48B 规模验证过 3:1 配比：KV 缓存省约 75%，百万 token 解码吞吐数倍提升，质量不输纯 MLA 基线（论文口径）。K3 是这条路线第一次被推上万亿级旗舰，官方称百万 token 上下文解码速度最高提升 6.3 倍（厂商自报，验证投票 2-1，是全文最弱的一个数字，权重开放前无法复现）。

2. Attention Residuals（AttnRes）：让深层网络能"回头查任何一层"

背景：残差流是 Transformer 的主干总线。大模型由几十上百个结构相同的层堆叠而成，信息逐层加工。如果每层都把上一层的结果彻底重做一遍，信息传到深层早就面目全非，训练信号（梯度）也传不回浅层——深度网络根本练不动。2015 年 ResNet 给出的解法沿用至今：每层的输出 = 输入 + 本层算出的增量（x ← x + f(x)）。这条贯穿全网的 x 被称为残差流，像一条总线：每一层从总线上读取当前状态，做自己的加工（注意力层负责在字与字之间搬运信息，前馈层负责对每个字做深加工），再把增量写回总线。相当于流水线上每个工位只在半成品上做小改动，原件始终顺着传送带往下传。

它的局限：总线上只有"当前总和"，历史版本全部丢弃。第 60 层从总线上拿到的，是前 59 层所有增量叠加后的结果。可解释性研究早已发现，不同深度的层各有分工：浅层保留词形、局部语法这类原始特征，深层逐渐加工出抽象语义。如果第 60 层需要的恰恰是第 3 层的原始特征，它只能指望这份信息在几十层的写入中没被稀释冲淡——总线不保留历史快照，没有任何直接通道可以回去取。

AttnRes 的做法：把注意力从"序列方向"复制一份到"深度方向"。官方描述是"从任意较早层选择性检索表征，替代固定的残差累加"：每层不再只被动接收传送带递来的总和，而是能以当前状态为查询，对之前各层的输出快照做一次选择性检索——现在最需要哪一层的中间产物，就直接去调哪一层，按相关性加权取回。可以这样对照理解：序列注意力回答"该看前文哪个字"，AttnRes 回答"该看前面哪一层"。代价是要保留各层表征供检索，用一定显存换训练效率（具体实现以论文为准）。打个比方：传统残差像传话游戏里每人只能拿到前面所有人叠加改写过的一张纸，AttnRes 允许直接翻任何一位前手的原始笔记。

效果与边界：这项工作有独立论文（arXiv:2603.15031），报告约 25% 训练效率提升——官方表述是"匹配用 1.25 倍算力训练的基线的 loss"，即同样效果少花约 1/5 算力。注意测量口径：这是在 48B 总参/3B 激活的缩小版模型、1.4T token 上得到的，K3 全量训练中的实际收益要等技术报告披露。

3. Stable LatentMoE：896 个专家与分位数负载均衡

背景：MoE 改造的是前馈层。Transformer 每层有两大件：注意力（在字与字之间搬运信息）和前馈网络（对每个字独立做深加工——参数的大头，模型的知识主要存在这里）。MoE 把每层那个巨大的前馈网络替换成 N 个小前馈网络（"专家"）加一个路由器：每个字进来，路由器对全部专家打分，只取分数最高的少数几个，这个字只流经被选中的专家，输出再按路由分数加权合并。这样总参数可以做得极大（决定知识容量上限），而每个字实际动用的计算只有一小撮（决定推理成本）。K3 是 896 个专家取 16 个（1.8%）——总参数 2.8 万亿，但每生成一个字只动用约 500 亿参数，推理账单跟一个 50B 稠密模型同量级。这就是"2.8T 的知识容量，50B 的账单"。

行业趋势：专家越切越细。DeepSeek-V3 是 256 选 8，K2 是 384 选 8，K3 直接推到 896 选 16。专家多而小，可选的组合方式指数级增多，分工可以更专业化，同样的激活预算下表达力更强；代价是路由器的调度难度和系统工程复杂度同步上升——专家要分布在大量 GPU 上，谁被选中就要把数据路由到谁那里。

负载均衡为什么是 MoE 的第一工程难题。训练中路由器会形成正反馈：某个专家被选得多 → 练得好 → 打分更高 → 被选得更多。放任不管的结局是两极分化：少数热门专家过载（它们所在的 GPU 成为全局瓶颈，其他 GPU 围观空转），多数冷门专家饿死（白占显存没练出本事）。经典解法是辅助损失（Switch Transformer 一脉）：往训练目标里加一项"分配越不均、罚得越重"的惩罚。问题是罚项和"把语言模型练好"的主目标天然打架——罚重了，路由器为了均衡把字硬塞给不合适的专家，模型质量受损；罚轻了又压不住分化。DeepSeek-V3 开创了"免辅助损失"路线：给每个专家挂一个动态偏置，过载就调低、饥饿就调高，只影响"选谁"、不污染训练目标本身。

K3 的分位数负载均衡（Quantile Balancing）：沿着"不靠罚款"再进一步——直接从路由分数分布的分位数推导专家分配，直觉上相当于按全批数据的分数排位来划分流阈值，均衡由分配机制本身保证，既不加惩罚项，也不需要手工调偏置的更新速率。名字里的 Stable 应当指的就是路由和训练的稳定性；Latent（潜空间）具体指什么结构（是否与 MLA 式的低秩压缩同源）官方博客未展开，要等技术报告披露。

4. Per-Head Muon 优化器 + SiTU 激活函数

背景：优化器在训练循环里的角色。训练 = 前向传播算损失 → 反向传播算梯度 → 优化器决定"依据梯度，实际怎么改这几万亿个参数"。行业默认的 AdamW 为每个参数单独维护梯度的一阶动量（近期平均方向）和二阶动量（近期波动幅度），逐参数自适应缩放步长——它把每个参数当作独立个体。

Muon 的洞见：矩阵参数应该按矩阵整体来优化。神经网络的绝大部分参数以矩阵形式存在（每个矩阵就是一次线性变换），矩阵的方向结构是有意义的。实践中梯度矩阵的能量往往集中在少数几个方向上（奇异值分布极度不均），AdamW 式的逐元素更新会让这几个强方向独吞更新量、弱方向被淹没。Muon 的做法：在动量矩阵上跑几步 Newton-Schulz 迭代做近似正交化，把更新矩阵的奇异值拉平——让所有方向等幅推进。实证效果是同等数据学得更快。月之暗面是这条路线最大的下注者：K2 的 MuonClip = Muon + 权重衰减 + 学习率 RMS 对齐 + QK-Clip。其中 QK-Clip 专治 Muon 在超大规模训练中的独有隐患——注意力打分（q·k 内积）数值爆炸导致训练崩溃：逐头监控最大注意力 logit，一旦超过阈值（τ=100）就按比例重缩放该头的查询、键投影矩阵，把数值拉回安全区。战果是 1 万亿参数、15.5T token 预训练全程零 loss 尖峰——loss 曲线上一次崩溃都没有，这在万亿级训练里是非常硬的工程成绩。

K3 的 Per-Head Muon：正交化粒度从整块矩阵切到每个注意力头。注意力的投影参数在存储上是一整块大矩阵，但逻辑上是几十个头的子矩阵拼接（预备知识里讲过，各头分工不同）。对拼接后的大矩阵整体做正交化，等于强迫所有头共享一套"步幅均衡"，梯度结构差异大的头会互相干扰；Per-Head Muon 按头切块、逐块独立正交化，每个头按自己的梯度结构调整步伐。这与 QK-Clip 逐头裁剪一脉相承——K2 的报告就发现数值爆炸往往只发生在个别头上，"按头处理"是更对症的粒度。

SiTU（Sigmoid Tanh Unit）：换了激活函数。激活函数是层内线性变换之间插入的非线性（没有非线性，一百层网络在数学上塌缩成一层）。近年主流是 SwiGLU（门控线性单元家族：一路做变换、一路做门控相乘）。SiTU 从命名看是 sigmoid 门与 tanh 变换的组合，同属门控家族，但官方未披露具体形式、设计动机与消融数据，细节待技术报告。

5. 从 SFT 阶段起的量化感知训练（MXFP4 权重 + MXFP8 激活）

背景：精度格式是显存、带宽、算力的三重杠杆。模型参数默认用 16 比特浮点数（BF16）存。降到 8 比特、4 比特，三样东西同时受益：显存占用等比例下降；显存带宽等比例提速——推理速度的常见瓶颈不是算力而是"把权重一遍遍从显存搬进计算单元"的搬运速度；新一代 GPU 的低精度矩阵单元吞吐还成倍高于 16 比特（英伟达 Hopper 一代原生支持 FP8，Blackwell 一代原生支持 FP4）。

MX 微缩格式：块级共享缩放因子，解决"4 比特存不下"的矛盾。4 比特浮点（1 位符号 + 2 位指数 + 1 位尾数）只能表达 16 个离散值，直接拿来存权重误差不可接受。MX（Microscaling，微软/英伟达/AMD 等共同制定的开放标准）的做法：每 32 个数编成一块，块内共享一个 8 比特的缩放因子，每个数自己只存 4 比特——相当于 32 个数合租一个"数量级"，各自只记有效数字。摊薄后约合 4.25 比特/参数，动态范围却大幅恢复。K3 的搭配是 MXFP4 存权重、MXFP8 存激活值（激活的数值分布比权重更飘忽，8 比特更稳妥）。

量化感知训练（QAT）对比训练后量化（PTQ）。传统 PTQ 是高精度练完再整体压缩——模型训练时从没见过量化误差，能力受损只能事后修补，像拍完高清照再压图。QAT 反过来：训练时前向传播就用量化后的权重参与计算（反向传播用"直通估计"技巧把梯度传回高精度主副本），模型在训练中就学会把重要信息安置在低精度也表达得住的地方。K3 从监督微调（SFT）阶段起全程 QAT——发布出来的低精度权重是"原生"的，不是压缩残次品。

部署账，也是这一条对开源的真正意义：2.8 万亿参数按 BF16 存，光权重就约 5.6TB 显存，几乎没人部署得起；MXFP4 压到约 1.5TB（含缩放因子开销），砍掉四分之三——再加上 KDA 把 KV 缓存也砍掉大半，"3T 级模型开放权重且真有人部署得起"这件事才成立。对想私有化部署的团队，这是实质利好而非姿态。

关于"2.5 倍扩展效率"的准确读法：官方原文的归因是"结构性改动 + 精炼的训练与数据配方"共同作用，不能把 2.5 倍单独记在架构头上（这个错误归因在核实中被 0-3 否决）。且该数字为厂商自报，技术报告发布前无法独立验证。

三、真实水平：独立评测怎么说

这是对"讲懂 K3"最关键的部分，因为厂商基准和独立评测给出的画面并不完全一致。

独立评测（Artificial Analysis，2026-07-17）

• 智能指数 57 分，总排名第 3——与 Claude Opus 4.8、GPT-5.5 同档，落后 Claude Fable 5（59.86）和 GPT-5.6 Sol。
• Agent 类基准是最强项：GDPval-AA v2 Elo 1668（超过 GPT-5.5 的 1494 和 Opus 4.8 的 1600，低于 Fable 5 的 1750 和 GPT-5.6 Sol 的 1748）；AutomationBench-AA 以 53% 排第 1。
• 成本效率突出：每任务实测成本 $0.94，约为 Opus 4.8（$1.80）的一半；输出 token 比 K2.6 少 21%（132M 对 166M），即"话变少了但更准了"。

社区盲测

Arena.ai 的 Frontend Code Arena（前端代码盲测）中以 1679 分排第 1，超过 Claude Fable 5 的 1631，较 K2.6 从第 18 名跃升 17 位（标注为初步结果，且仅此单一基准）。

厂商自报基准（未独立复现，谨慎采信）

月之暗面自己的定位很诚实：承认整体落后 Fable 5 和 GPT-5.6 Sol，但称编码与 Agent 基准上大体胜过 Opus 4.8 和 GPT-5.5。MarkTechPost 整理的 11 项基准中，K3 在 5 项领先（Program Bench、SWE Marathon、BrowseComp、Automation Bench、OmniDocBench），但在最难的推理和仓库级任务上落后：DeepSWE 67.5 对 GPT-5.6 Sol 的 73.0，FrontierSWE 81.2 对 Fable 5 的 86.6，HLE-Full 43.5 对 53.3。

注意：Fortune 报道的"与 Fable 5 表现相当"是过度拔高，已被证伪——正确表述是官方自认落后于 Fable 5，但差距在收窄。

综合判断

K3 的真实位置：开源模型第 1、全球第三档、Agent 任务尤其能打、性价比是同档最强。它没有追平最前沿的两家（Fable 5、GPT-5.6 Sol），但把"开源模型与闭源顶尖的差距"压到了历史最小。

四、定价与开源：便宜中国模型时代的落幕信号

• 纵向看是大幅涨价：未缓存输入 $3/M，是 K2 发布价（$0.60）的 5 倍。The Decoder 的评论标题很点题——"超便宜中国 AI 时代的终结信号"。
• 横向看仍有性价比：输出 $15/M，高于 GLM-5.2（$4.40）和 DeepSeek V4 Pro（$0.87），但只有 Opus 4.8（$25）的六成、Claude Fable 5（$50）的三成。缓存命中输入 $0.30/M 对 Agent 场景（大量重复上下文）很友好。
• 开源承诺：2026-07-27 前开放完整权重，号称"全球首个 3T 参数级开源模型"（实际 2.8T，官方话术口径）。截至本文写作日权重尚未上 HuggingFace，"开源"仍处承诺阶段；许可条款（是否沿用 K2 的修改版 MIT 及商用归属要求）未披露。

五、给 Agent / 基模方向从业者的几点启示

1. 架构方向的信号：混合线性注意力（3/4 线性 + 1/4 全注意力）在旗舰规模上被验证可行，这是继 MiniMax、Qwen 之后又一家头部厂商押注线性注意力路线，长上下文 Agent 的推理成本曲线会继续下移。
2. 稀疏度继续推向极限：896 选 16（1.8%）的稀疏度比 K2（384 选 8，约 2.1%）更激进，"总参数狂飙、激活参数克制"仍是共识路径。
3. 量化感知训练前移到 SFT 阶段是值得注意的工程决策——低精度不再是部署阶段的妥协，而是训练阶段的一等公民。
4. Agent 基准与通用智能基准的分化在 K3 身上非常明显：它在 GDPval、AutomationBench、前端代码上能赢 Opus 4.8，但在 HLE 这类最难推理任务上差距仍大。选型时"看什么榜"比"看总榜"更重要。
5. 缓存定价结构（命中打一折）加上 1M 上下文，对多轮 Agent 工作流的实际成本影响比牌面单价更大，测算成本时要按自己的缓存命中率算。

六、信息可信度分级与待解问题

最扎实：K2 基线（有技术报告 + 开放权重）；AA 独立评测数字；官方定价页数字。

较扎实但溯源单一：K3 全部架构细节（16/896、KDA、AttnRes 等）——虽经多方转述交叉印证，但最终都来自月之暗面单方披露，要等权重开放后从 config.json 独立确认。

厂商自报、待复现：2.5 倍扩展效率、6.3 倍解码加速（全文最弱数字）、25% 训练效率（小模型上测得）、编码/Agent 胜过 Opus 4.8/GPT-5.5 的自报基准。

已证伪、勿引用：2.7T 参数量（Fortune）；"与 Fable 5 相当"（Fortune）；把 2.5 倍效率单独归因于架构。

待技术报告解答的问题： - 预训练数据规模（token 数）、后训练/RL 方法、完整优化器配置（目前只知 Per-Head Muon 和 SFT 起步的量化感知训练，K2 的 15.5T token 不能外推）。 - 开源许可具体条款；2.8T 权重的实际部署门槛（显存需求、推理框架对 MXFP4 的支持）。 - 精确激活参数量（约 50B 为社区推算）。

参考资料

一手来源 - 官方博客：https://www.kimi.com/blog/kimi-k3 - 官方 API 文档与定价：https://platform.kimi.ai/docs/guide/kimi-k3-quickstart 、https://platform.kimi.ai/docs/pricing/chat-k3 - K2 技术报告（基线锚点）：https://arxiv.org/pdf/2507.20534 - AttnRes 论文：https://arxiv.org/abs/2603.15031 - Artificial Analysis 独立评测：https://artificialanalysis.ai/articles/kimi-k3-achieves-3-in-the-artificial-analysis-intelligence-index-comparable-to-opus-4-8-and-gpt-5-5

二手与社区 - Tom's Hardware：https://www.tomshardware.com/tech-industry/artificial-intelligence/moonshot-releases-2-8-trillion-parameter-kimi-k3 - MarkTechPost（基准表）：https://www.marktechpost.com/2026/07/16/moonshot-ai-releases-kimi-k3-a-2-8-trillion-parameter-open-moe-model-with-kimi-delta-attention-and-1m-context/ - Latent.Space：https://www.latent.space/p/ainews-kimi-k3-28t-a50b-the-largest - Simon Willison：https://simonwillison.net/2026/Jul/16/kimi-k3/ - The Decoder（定价评论）：https://the-decoder.com/kimis-open-model-k3-nears-gpt-5-6-sol-and-fable-5-while-signaling-the-end-of-super-cheap-chinese-ai/ - Arena 前端盲测：https://x.com/arena/status/2077824029126504525