研究:相同预测不代表相同信念更新,语言模型贝叶斯推断机制解析
三个开源模型上做的对照实验,量化了模型“学来的信念”到底值多少条证据,做可解释性的朋友可以看看。
三个开源模型上做的对照实验,量化了模型“学来的信念”到底值多少条证据,做可解释性的朋友可以看看。
arXiv 上一篇理论论文,把满足化学习规则改写成贝叶斯估计器 ACB,还证明不可达目标下探索不会收敛,喜欢决策理论建模的可以看看推导。
把贝叶斯提问策略蒸馏进 8B 模型,猜词从 32 次降到 3.4 次,比 70B 老师还管用,思路很新。
一篇多模态心智理论的论文,用 GPT-4o 加上 PIP-ToM 框架,在三个 ToM 基准上准确率都冲到 92% 以上,研究智能体心理状态推理的可以看看。
跑GLMM贝叶斯推断的试试metabeta,开源开放权重,比NUTS快两三个数量级,后验基本一致。