Yann LeCun团队发布新论文,给出了一组对Scaling Law的直接挑战:仅1.09亿参数的文本JEPA模型,在跨模态表征对齐任务上胜过720亿参数的大模型,两者的样本效率相差约42倍。
JEPA(联合嵌入预测架构)是LeCun长期倡导的路线:不在像素或词元层面做生成式预测,而是在抽象表征空间中预测缺失信息,从而迫使模型学习世界的高层结构而非表面统计规律。这与当前以自回归生成+海量数据为主流的大模型路线形成根本分歧——LeCun多次公开批评自回归模型「逐词纠错」的学习效率低下,主张通向世界模型需要不同的架构。
一个亿级参数模型在特定任务上压过七百亿参数模型,并不能直接推翻Scaling Law——后者描述的是能力随规模的平滑提升,而JEPA展示的是特定能力维度上的效率优势。但这项工作至少说明:在数据与算力成本高企的当下,架构创新的收益空间远未关闭。LeCun本人此前被曝将离开Meta创办世界模型方向的公司,这篇论文可视作其技术路线的又一次公开表态。世界模型赛道上,数据拟合派与规律推导派的路线之争正在升温。
