腾讯混元团队发布Hy4 preview轻量量化版本,通过自研压缩技术将BF16权重从1.5TB压缩至214GB,大幅降低本地部署门槛。
该方案采用Sherry稀疏三值量化算法与MIX-STQ1_0混合精度策略,平均每权重仅需1.25比特,相比同类方案节省5GB以上存储。
性能评测显示,压缩后模型在长文理解、检索、编码及问答等能力上与原版基本持平,整体优于UD-IQ1_M版本。
团队还验证了异构设备联合推理,以144GB总显存运行214GB模型,推理速度达1.02 token/s,比单机offload快6倍,相关资源已开源。
