西湖大学新框架:让编程智能体驱动世界模型

作者:账号已注销 发布时间:2026-09-02 08:40:39 浏览:24
西湖大学等团队提出Code World Model,将世界演化交给编程智能体,视觉生成交给视频模型,为开放世界交互提供新路径。

世界模型支持开放世界交互的难点在于处理持续变化的实体、规则与事件,现有视频模型难以捕捉隐藏因果关系。西湖大学与南洋理工大学提出Code World Model框架,将世界演化与视觉生成分离:Coding Agent维护世界状态并通过代码驱动变化,视频模型生成高保真视觉,轻量级编译器渲染代理作为桥梁。在仅5.6小时GTA V视频上微调后,MiniMax-H3能遵循代理指定的位置、轨迹与相机运动,实现持续连贯演化。当前受算力限制,生成质量待提升且未实现实时生成,未来有望推动世界模型从预测下一帧转向规则、状态与视觉的统一建模。

阅读原文