Transformer 的时代，正在被改写。
月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型。
在长上下文任务中，它不仅减少了 75% 的 KV 缓存需求，还实现了高达 6 倍的推理加速。
有网友表示期待：这个架构下的 Kimi K2.5 何时来？？
不过，咱还是先来看一下 Kimi Linear 是如何挑战传统 Transformer 的。
让注意力真正线性化
Transformer 确实聪明，但聪明得有点太烧钱。
它的注意力机制是全连接的，每个 token 都要和其他所有 token 打交道。
计算量也随着输入长度呈平方增长（O ( N ² ) ），而且每生成一个新词，还要查一遍之前的所有缓存。
这就导致推理阶段的 KV Cache 占显存极大，尤其是在 128K 以上的上下文中，显卡直接崩溃警告。
模型越强，显卡越崩，钱包越痛。
所以，过去几年无数团队都在研究线性注意力，希望把计算从 O ( N ² ) 降到 O ( N ) ，让模型能又快又省。
但问题是，以前的线性注意力都记不住东西，快是快了，but 智商打折。
现在，Kimi Linear 以既要又要还要的姿态登场了。
Kimi Linear 的核心创新是Kimi Delta Attention（KDA）。
它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。
更关键的是，KDA 的状态更新机制是基于一种改进的 Delta Rule（增量学习规则）。
它在数学上保证了稳定性，即使是在百万级 token 序列中，梯度也不会爆炸或消失。
这也让 Kimi Linear 能在超长上下文中跑得稳。
整个模型采用3:1 的混合层设计，每 3 层线性注意力（KDA）后加 1 层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。
团队还干脆把传统的 RoPE（旋转位置编码）砍掉，让 KDA 自己通过时间衰减核函数学习序列位置信息。
结果，没有 RoPE，模型反而更稳、更泛化。
在 KDA 的状态更新过程中，Kimi Linear 用了一种叫 Diagonal-Plus-Low-Rank（DPLR）的结构。
核心思路是把注意力矩阵拆成「对角块 + 低秩补丁」，这样 GPU 在并行计算时能一次性处理更多内容，吞吐率直接翻倍。
此外，团队还引入了分块并行计算和 kernel fusion 优化（内核融合），极大地减少了显存 I/O 开销。
在工程部署上，它还能无缝对接 vLLM 推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。
这意味着，任何基于 Transformer 的系统在理论上都能一键升级为 Kimi Linear。
实验结果显示，在相同训练规模下，比如 1.4T tokens，Kimi Linear 在 MMLU、BBH、RULER、GPQA-Diamond 等多个基准测试上全面超越 Transformer。
长上下文推理中，解码速度提升最高达 6 倍，KV 缓存减少 75%。
不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。
One More Thing
不得不说，Transformer 的地位正在被重新审视。
Mamba 的作者曾用长文论述 Transformer 并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。
之前谷歌推出的 MoR 架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。
苹果公司也在多项研究中倾向采用 Mamba，而非传统 Transformer，理由很现实—— SSM 架构更节能、延迟更低、适合在终端设备上部署。
现在，Kimi Linear 则从另一条路线突围，在线性注意力方向上取得突破。
或许这也预示着，AI 架构正在告别对传统 Transformer 的路径依赖，迈向多元创新时代。
但值得一提的是，刚刚坐上开源模型王座的 MiniMax M2，却重新用回了全注意力机制。
技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 年度科技风向标「2025 人工智能年度榜单」评选报名火热进行中！我们正在寻找 AI+ 时代领航者 点击了解详情
❤️� � 企业、产品、人物 3 大维度，共设立了 5 类奖项，欢迎企业报名参与 � �
一键关注 � � 点亮星标
科技前沿进展每日见
网上股票配资提示：文章来自网络，不代表本站观点。
