这篇论文把大模型的涌现现象搬到了药物分子层面:只用序列训练的 Bonbon,不做任务监督就能自动学会找结合位点、判断共价与非共价。速度比共折叠快十万倍,湿实验命中率 61.5% 相当扎实。做药物设计或分子机器学习的都该看看。
#缩放定律
微软 AI 的 Mustafa Suleyman 说他们用少 12 倍的算力就在代码评测上追平了 DeepSeek-V4-Pro-Base,不过细节还没发,先看看数据再说。
机器人世界模型也有缩放定律了,8B 参数的 RoboJEPA 能用计算量预测真机表现,还能零样本规划长时程任务,代码全开源,搞具身的建议看看。
新研究揭示AI代币在模型训练中的价值变化,提出能预测不同规模模型效果的缩放定律。
研究者用四千多个模型检查点做了两套基准,专门测缩放定律的推导方法靠不靠谱,做 scaling 实验前可以先看看。
这项研究拿 DeepSeek-R1-Distill 全系列做实验,结论挺扎心:模型变大只是解题能力强了一点,推理消耗的 token 一点没省,想靠堆规模提效率可能走不通。
研究人员提出了一种方法,能通过小模型实验,准确预测万亿 token 规模 MoE 模型的最优学习率,省去了大量计算成本。他们用 155B 参数的模型验证了方法的有效性。
Amodei下场聊AI权力集中,用自家支持的SB53法案做例子,说监管能帮小公司而不是只帮巨头。挺有料的。
Dyna Robotics 发了 Dyna-2,只靠看人类视频就能学会机器人操作,没碰过机器人数据也能越看越强,跟以前的做法很不一样。
Meta新论文搞了个Skaling law,比Chinchilla和Kaplan那套准1.5到3倍,而且小规模跑就能算准,预算算力能省不少。
Dyna Robotics放出了个叫Dyna-2的世界动作模型,用100万小时人类视频训的,能预测未来再行动,还发现了数据量越大越强的缩放规律,值得看看。
想搞懂大模型为什么越训越大?这个视频用动画讲清Scaling Laws的缩放规律,比看论文容易多了。
Dan Fu讲KV缓存和Parcae新缩放定律
做多智能体系统或推理管线的开发者,StreamMA 用流式通信同时解决了延迟和效果问题,值得直接参考实现思路。
这项研究揭示了模型规模如何影响神经元的可解释性和专门化,对理解大模型内部机制和设计更高效架构的AI研究者有直接参考价值,建议关注其缩放定律的实践意义。
MobileMoE解决了移动端大模型部署的算力与内存瓶颈,做端侧AI应用或手机端推理的开发者可以直接参考其架构和训练方案,实测性能提升显著。
香农缩放定律统一解释了LLM训练中的非单调退化现象,做模型缩放和训练优化的研究者可以直接用这个框架预测性能拐点,避免盲目增加计算量。
这项研究为LLM的事实回忆能力提供了可预测的缩放规律,做模型评估或训练数据设计的团队可以直接用这个规律来预估模型表现,值得关注。
时间序列领域终于有了可预测的缩放定律,做时序预测的团队可以像训练语言模型一样放心堆数据和算力,建议直接下载权重试试。
做 LLM 推理优化或复杂任务应用的团队,这条定律意味着你不需要等更大模型——加思考 token 就能直接提升效果,值得在现有模型上试试。
Meta 用实际数据证明了 Muse Spark 的预训练效率比 Llama 4 提升 10 倍以上,做模型训练或资源优化的团队值得关注其缩放定律方法,可以直接借鉴来评估自己的模型效率。