GPT-6带火循环Transformer,阿里早已布局

作者:一水 发布时间:2026-09-06 08:35:07 浏览:9
GPT-6 Astra采用循环深度技术引发关注,阿里团队提前发表MeSH和SpiralFormer两篇论文,分别解决计算冗余和粒度问题,为高效大模型提供新路径。

GPT-6 Astra的发布使循环Transformer技术备受关注,该技术通过重复运行同一组Transformer层,在不增加参数的情况下加深计算,但也引发安全争议。

阿里及合作高校团队早在11个月前便针对循环架构的“计算冗余”问题发表MeSH和SpiralFormer两篇论文,分别被ICLR 2026和EMNLP 2026接收。

MeSH引入动态记忆缓冲区与读写路由器,减少约33%非嵌入参数,零样本准确率从49.50%提升至50.56%;SpiralFormer通过调整每轮序列长度实现多尺度处理,在降低计算量时将5-shot准确率从51.93%提升至54.37%。

两项研究证明,确保每轮计算有效,用更少参数实现更强性能将成为可能,为循环架构走向高效大模型提供关键拼图。

阅读原文