今日上午，在小米2025人车家全生态合作伙伴大会上，xiaomi mimo大模型团队负责人罗福莉完成加盟小米后的首次公开亮相，并正式推出并开源全新moe架构大模型——mimo-v2-flash。
罗福莉随后在社交平台同步分享了关于MiMo-V2-Flash的核心技术细节：
MiMo-V2-Flash 已全面开放。这仅是我们通向通用人工智能（AGI）征程中的第二站，但其中若干关键工程决策，值得在此简要记录。
架构设计：
我们最终选定 Hybrid SWA（混合滑动窗口注意力）方案。该方案兼具简洁性与高效性，在内部长文本推理基准测试中，显著超越各类线性注意力（Linear Attention）改进版本。此外，固定 KV cache 的设计极大降低了与现有系统基础设施的集成门槛。
注：窗口长度设为128是经过充分验证的“最优值”（将窗口扩大至512反而导致性能下降）；sink tokens 机制不可或缺，切勿省略。
MTP（多Token预测）：
版权声明：除非特别标注，否则均为本站原创文章，转载时请以链接形式注明文章出处。
还木有评论哦，快来抢沙发吧~