9月23日，小米MiMo大模型负责人罗福莉宣布，MiMo-V3即将采用全新架构，其核心组件HySparse 2于当日正式发布，带来更少预填充、更小KV缓存和更出色的长上下文检索表现。
据披露，在100万Token长度下，预填充计算量降低5.02倍，KV缓存缩小4.5倍，同时MRCRv2和RULER-v2评分更高，AgentPPL与LongPPL更低。罗福莉指出，智能体推理是截然不同的工作负载，每轮交互中简短动作可能返回需预填充的长文本，且上下文持续增长，使预填充成本、KV缓存大小和检索准确率同时处于关键路径上。
技术层面，HySparse 2遵循YOCO思路，通过KV桥接让交叉解码器中的全注意力层利用自解码器隐藏状态构建K/V，并以KV重用使稀疏层复用前一层全注意力层的缓存与选择索引。此外，该架构采用Token级选择替代块级选择，用近期Token强制窗口替代独立SWA分支，使本地与全局Token共享同一KV缓存，预填充在自解码器完成时即可停止。
值得一提的是，小米昨日凌晨刚发布并开源Xiaomi MiMo-V2.6系列，包含Pro与Flash两个原生全模态模型，被视为探索RSI路径的关键一步。