09:39官方账号arXiv cs.AI@Chao Gao, Haijiang Liu, Qiyuan Li, Caicai Guo, Frank van Harmelen, Jinguang Gu研究显示大语言模型在面对支持导向和消除导向两种表述方式的多选题时,回答常不一致。研究者引入双框架协议,通过最小变化的提示词保持评估目标固定。研究发现两种框架在中间层诱导出可分离的[STATE]激活。交换这些激活能系统性地改变预测结果,提高跨框架一致性。论文StateSwap多选题大语言模型推荐理由:这篇论文揭示了大模型在多选题中不一致回答的内部机制,通过StateSwap技术证明了不同表述方式会激活不同内部状态。原文稍后读已读值得跟进有用关注 StateSwap
12:14官方账号arXiv cs.LG@Mohamed Amine Merzouk, Dmitri Carpov, Mirko Bronzi, Damiano Fornasiere, Adam Oberman该研究通过线性探针在三个7-8B开源模型(如Llama-2、Mistral)的冻结隐藏状态上发现,模型在生成首个token之前即可从提示的最后隐藏状态线性解码总响应长度。探针在七个自然语言数据集上训练后,可迁移至未见过的受控合成数据,且性能优于统计基线。在模型修改回答时,探针的估计值会在回退位置发生方向性偏移,表明模型内部维护了类似计划的长度表示。论文LLMs线性探针剩余长度推荐理由:这篇论文发现LLM在生成前就“知道”要写多长,用线性探针就能解码,挺有意思的。原文稍后读已读值得跟进有用关注 LLMs