Yann LeCun 发新论文挑战 Scaling Law,1.09 亿参数 JEPA 表征对齐超过 720 亿参数大模型
Yann LeCun 与布朗大学助理教授 Randall Balestriero 于 10 月 29 日发布 37 页论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》(https。
这项研究的实质是用数学框架和实验说明训练样本的构造方式可能比参数规模更影响跨模态表征对齐,目前仍是学术探索而非工程结论。
- 影响42 倍样本效率差距若被独立复现,表征学习类任务的训练数据预算存在重算空间;当前结论只覆盖表征对齐指标,不能用于模型采购的能力评估;世界模型路线已有约 10 亿美元融资,长期技术选型多了一个候选方向。
- 参考可考虑把 JEPA 和样本效率方向列入研究跟踪清单,等独立复现结果;值得盘点自身业务中只需跨模态表征对齐、不依赖生成能力的场景,作为将来低成本试点的候选;模型选型评估暂继续以通用能力基准为主。