MIT团队发布的一项权重空间编辑研究显示:仅改写模型0.016%的权重,就能把Qwen模型在MATH-500数学基准上的成绩从7.9%大幅拉升至48.1%。这意味着无需重新训练或大规模微调,对预训练模型的定向能力注入可以在极小的参数改动量下实现数量级的提升。
权重编辑并非新概念,此前已有针对事实记忆修正(如改掉一个错误知识)的工作,但把它做到「数学能力」这种复杂推理维度上、且改动量只有万分之1.6,说明模型内部存在高度模块化的能力回路——特定能力可能集中在很小范围的权重子空间中,找到并强化它,比全量训练高效得多。
这项技术是双刃剑。积极的一面是低成本定制:企业可以在开源模型上以极小代价注入领域能力,不必承担全量微调的成本与灾难性遗忘风险。风险的一面则呼应了此前「模型可在权重中隐藏任意能力」的研究——如果少量权重就能注入或激活特定能力,供应链攻击与「休眠能力」的检测难度将显著上升。模型审计与安全评估需要从整体行为深入到权重层面。
