视频生成模型难以模拟真实世界规则与因果，西湖大学与南洋理工提出Code World Model，以语言模型为“大脑”维护世界状态，视频模型负责视觉呈现，实现更可控的交互模拟。该模型重新分工：语言模型处理知识、规则与长期因果，视频模型负责外观与运动，通过轻量“proxy”连接提供逐帧约束，仅用约1/16像素量即可指导生成。团队从游戏录制获取对齐数据训练，原型仅用5.6小时数据即可生成遵循指定轨迹与相机运动的视频。该研究为开放世界模拟提供新思路，获虚幻引擎CEO Tim Sweeney关注。
西湖大学新模型：代码驱动视频生成，重塑AI世界模拟
作者：新智元
发布时间：2026-09-08 06:10:20
浏览：9
西湖大学与南洋理工提出Code World Model，以代码驱动世界状态，视频模型负责视觉呈现，实现更可控的交互视频生成。