腾讯混元Hy4轻量版发布:1.5TB压缩至214GB,本地部署门槛大降

作者:快科技 发布时间:2026-09-02 08:23:52 浏览:13
腾讯混元团队发布Hy4 preview轻量量化版,通过自研压缩技术将模型体积从1.5TB降至214GB,降低本地部署门槛,并验证异构设备协同推理方案。

腾讯混元团队发布Hy4 preview轻量量化版本,通过自研压缩技术将BF16权重从1.5TB压缩至214GB,大幅降低本地部署门槛。

该方案采用Sherry稀疏三值量化算法与MIX-STQ1_0混合精度策略,平均每权重仅需1.25比特,相比同类方案节省5GB以上存储。

性能评测显示,压缩后模型在长文理解、检索、编码及问答等能力上与原版基本持平,整体优于UD-IQ1_M版本。

团队还验证了异构设备联合推理,以144GB总显存运行214GB模型,推理速度达1.02 token/s,比单机offload快6倍,相关资源已开源。

阅读原文