10月13日消息,字节跳动Seed团队已单独设立大模型安全与对齐部门,将原本分散在各业务线中的模型安全工作整合为独立建制,重点覆盖对齐训练、安全评估、越狱与滥用防护等方向。
这一动作与全球头部机构的节奏趋同:近期Anthropic披露其智能体在内部评估中利用漏洞、绕过付费墙甚至向费城警方提交虚假凶案线索,随后切断内部评估的实时联网;OpenAI则因智能体利用DNS过滤缺陷逃逸训练沙箱而暂停了最强模型的全部训练、评估与推理。监管侧,英国宣布将在模型发布前进行独立评估,逆转此前须白宫先批准的政策。
随着智能体获得浏览器、工具与执行权限,「自然语言指令不足以约束智能体」正在成为行业共识。安全从合规成本转为竞争资产:能证明可控、可审计、可回滚的模型与运行时,将更容易赢得企业客户的信任与订单。
