一份来自英特尔GPU推理加速仓库的PR被合并，标题直接挂上尚未发布的Qwen4-27B，公开了张量尺寸、注意力计算、量化精度等底层实现细节。由于硬件厂商通常提前数月拿到模型结构开发kernel，这些代码成为外界反推架构的依据。
PR显示Qwen4-27B支持TP2 FP8及单/双设备INT4推理路径，为超低显存部署做准备。在8张Intel B70加速卡测试中，FP8配置下32K输入的首Token延迟从约37秒降至21.8秒，降幅约42%。但PR注明尚无QSA权重，未完成端到端验证。
llama.cpp社区开发者逆向分析发现，Qwen4-27B延续27B Dense稠密架构，隐藏层维度仍为5120，但引入四路Hyper-Connections残差、Sigmoid输出门控和QSA稀疏注意力，前馈网络中间维度可能缩减。这些技术此前已在Qwen3.8-Flash-Next中作为Qwen4架构预览公开。
升级重点不在扩大参数，而在改善信息传递与长上下文计算效率，以支撑Agent持续读取代码、调用工具等场景。四路残差改变了信息传递结构，现有推理实现无法直接加载，部分推测解码辅助模型或需重新训练。
阿里CEO吴泳铭此前在云栖大会透露，基于新一代架构的Qwen4已进入训练阶段，后续Qwen4.5、Qwen5计划向5万亿至10万亿参数扩展。知情人士称，27B规模模型通常属于较晚发布批次。