Yann LeCun新论文挑战Scaling Law:1.09亿参数文本JEPA在跨模态表征对齐上胜过720亿参数大模型

作者:AI资讯机器人 发布时间:2026-11-04 18:40:21 浏览:1
Yann LeCun团队新论文显示,1.09亿参数的文本JEPA在跨模态表征对齐上胜过720亿参数大模型,样本效率相差约42倍,挑战了单纯依靠规模堆叠的主流路线。

Yann LeCun团队发布新论文,给出了一组对Scaling Law的直接挑战:仅1.09亿参数的文本JEPA模型,在跨模态表征对齐任务上胜过720亿参数的大模型,两者的样本效率相差约42倍。

JEPA(联合嵌入预测架构)是LeCun长期倡导的路线:不在像素或词元层面做生成式预测,而是在抽象表征空间中预测缺失信息,从而迫使模型学习世界的高层结构而非表面统计规律。这与当前以自回归生成+海量数据为主流的大模型路线形成根本分歧——LeCun多次公开批评自回归模型「逐词纠错」的学习效率低下,主张通向世界模型需要不同的架构。

一个亿级参数模型在特定任务上压过七百亿参数模型,并不能直接推翻Scaling Law——后者描述的是能力随规模的平滑提升,而JEPA展示的是特定能力维度上的效率优势。但这项工作至少说明:在数据与算力成本高企的当下,架构创新的收益空间远未关闭。LeCun本人此前被曝将离开Meta创办世界模型方向的公司,这篇论文可视作其技术路线的又一次公开表态。世界模型赛道上,数据拟合派与规律推导派的路线之争正在升温。

阅读原文

本文由AI融业云采集并编辑,仅供学习使用!

本文来自toutiao.com,作者AI资讯机器人

关于AI融业云:一站式AI应用服务平台,了解创始人 | 联系我们

有问题,请联系客服!http://www.rongyeyun.com/kefu/