一说”把 AI 做大”，很多人想到的就是堆数据、堆显卡。Kimi 创始人杨植麟在这场演讲里给了三条别的路：同样的数据学出更多（词元效率）、上下文拉得更长、让一群智能体并行干活。他的出发点是做更强的开放模型——权重谁都能拿去部署和研究，但前提是模型本身够强。下面用大白话捋一遍。
先看视频
下面是同主题公开演讲视频（GTC 2026 官方录像《How We Scaled Kimi K2.5》，英文）：
YouTube 原片：https://www.youtube.com/watch?v=CwePo4847ho ・ X 上的出处：https://x.com/txbrraa/status/2116137611274186845
以下要点整理自语音识别字幕，数字和名词可能有误，关键点建议对照原片核对。
三个方向怎么串起来
- 词元效率：决定每个智能体出发时的”先验”有多强，强化学习时更容易找到好答案。
- 上下文长度：决定它能记多少、能连续干多久。
- 智能体数量：决定整个系统能同时扛多少任务。
最终目标是：一群上下文超长、底子很强的智能体，各管一摊，再协作完成大任务。
一、词元效率：把缩放曲线往左推
高质量数据快撞上”数据墙”了。优化器要是能把词元效率翻倍，50 万亿词元就顶 100 万亿用——这不只是省算力，是把智能上限抬高。
- Muon 优化器：一种二阶风格优化器，把每次梯度更新”正交化”，和 Adam 思路不同，做好了大约有 2 倍词元效率。
- 能跑大规模的两个关键：给更新加可调系数，让更新的均方根幅度和 Adam 对齐；再做分布式 Muon，把优化器状态拆到数据并行组里，省显存和通信。同参数、同词元数下，换成 Muon 各项指标都更好。
- 万亿参数时的坑：最大注意力 logit 冲过 1000（正常约 50 或更低），loss 跟着发散，光调学习率解决不了。
- 解法 QK Clip：前向时算出每个注意力头的最大 logit，据此给查询、键投影一起乘缩放系数，把最大值压住。加前加后的 loss 曲线几乎重合，训一段时间后最大值还会自己降下来。K2 就是靠这个训到 1 万亿参数的。
二、长上下文：该记的记住，没用的忘掉
Transformer 赢过 LSTM，一个关键原因是：越往上下文后面，它预测下一个词元的 loss 还在降，LSTM 则早早饱和。读完整个代码库、跑超长智能体任务（比如从零写一个内核），靠的就是这个。
- Kimi Delta Attention（用在 Kimi Linear 架构里）：在门控增量规则（Gated Delta Rule）基础上加强循环记忆；线性注意力层和完整注意力层大约按 1∶3 混搭，前者低成本存长记忆，后者做精确交互。
- 核心改动：老的线性注意力只有一个全局衰减系数（标量），要么几乎全忘、要么几乎全留。Kimi Delta 把它换成对角矩阵，每个通道单独控制衰减：重要信息留得久，噪音忘得快。
- 工程上：为了吃满 GPU 并行，公式用矩阵求逆和累积衰减因子重新改写，是数学等价，不是近似。短上下文、长输入、长输出都有提升，到 100 万词元以上优势更明显。
三、智能体集群：不是把一个做更大，而是让一群一起干
一个主智能体当总协调，把任务拆给很多子智能体并行做，规模可以到上百、上千个。用强化学习训练时有三类奖励：
- 实例化奖励：鼓励合理派出子智能体，防止”串行坍缩”（最后又退回一个智能体自己一件件做）。
- 完成奖励：训练中模型学会了狂开子智能体却不干完（钻奖励空子），这个奖励只认真正做完的子任务。
- 结果奖励：整件事到底成没成。
对智能体还不熟？可以先看 AI 是什么，再回来看这部分。
成果：Kimi K2.5
- 训练很稳：在 K2 约 15 万亿词元的基础上再加训约 15 万亿，全程没有明显 loss 尖峰。
- 视觉和文本第一天就一起训（早期融合）：不是先训纯文本再补视觉。只做纯视觉强化学习（计数、视觉问答），文本类任务居然也变强；监督微调阶段几乎不用视觉数据（接近”零视觉 SFT”），视觉任务照样接近一流水平。
- 注意力残差（Attention Residuals）：层与层之间用注意力取代普通残差连接；为控制显存和通信成本做了分块版本，报告词元效率提升约 24%，相当于 50 万亿词元当 60 多万亿用。
一句话总结
没有哪一个”神来之笔”。Adam、注意力这些老技术都还能改：更好的优化器、更聪明的记忆、更多智能体叠在一起才见效，而严谨的缩放实验让每个结论都能被验证。更多文章在 YepSoso 中文博客。
自己把演讲转成文字
这篇就是从字幕整理来的。把公开的 B站、抖音、YouTube、TikTok 或 X 视频链接贴进 YepSoso 字幕工具，就能拿到可复制的字幕和博客初稿，记得对照原片核一遍。