何恺明团队提出纯视觉方案NAT-ARC,用ImageNet猫狗花草预训练模型先学会“看”,再迁移到抽象格子推理,不依赖大语言模型。
ARC是公认最难的AI视觉智力测验之一,以往主流解法都把彩色格子转成文字交给LLM,视觉路线则因随机初始化、吃不到预训练红利而容易过拟合。
NAT-ARC在视觉流程前加入ImageNet MAE自监督预训练,复用公开checkpoint初始化编码器并微调,测试时对每题做LoRA适配,使模型能自动聚焦格子中的有意义图案。
其最佳单模型仅0.6B参数,在ARC-1上取得63.4% pass@2、集成后达70.2%,接近8B专用LLM的71.6%,证明预训练打通了视觉路线的scaling瓶颈,模型越大效果越好。
