英伟达研究团队提出ReplaySSM，针对当前流行的SSM与Attention混合架构，重新思考状态存储方式以加快解码速度。混合架构用状态空间模型处理长序列、用注意力层处理精确检索，但状态在层间的存储与复用一直是解码效率瓶颈。据报道，ReplaySSM已被Qwen、Nemotron与GLM等模型系列采纳。
同期，密歇根大学与英伟达的另一项研究显示，通过协同的软件层调度，AI训练能耗最高可降低50%且不损失性能——在数据中心电力成为硬约束的背景下，软件能效优化的价值正在快速上升。
这两项工作共同指向一个趋势：当算力供给受限于芯片产能与电力供给时，架构与系统软件层面的效率创新成为释放有效算力的主要杠杆。对推理成本敏感的智能体时代，解码速度与每Token能耗正在成为与模型质量并列的核心指标。