GPT-6 Astra的发布使循环Transformer技术备受关注,该技术通过重复运行同一组Transformer层,在不增加参数的情况下加深计算,但也引发安全争议。
阿里及合作高校团队早在11个月前便针对循环架构的“计算冗余”问题发表MeSH和SpiralFormer两篇论文,分别被ICLR 2026和EMNLP 2026接收。
MeSH引入动态记忆缓冲区与读写路由器,减少约33%非嵌入参数,零样本准确率从49.50%提升至50.56%;SpiralFormer通过调整每轮序列长度实现多尺度处理,在降低计算量时将5-shot准确率从51.93%提升至54.37%。
两项研究证明,确保每轮计算有效,用更少参数实现更强性能将成为可能,为循环架构走向高效大模型提供关键拼图。
