AITOPAI热报

语言模型

共 53 条相关 AI 资讯
5月26日
12:20
12:20官方账号arXiv cs.LG@Martin Marek, Dongkyu Cho, Shikai Qiu, Rumi Chunara, Pavel Izmailov, Andrew Gordon Wilson
精选
该论文研究了语言模型在新任务训练时遗忘旧知识的问题，并提出利用模型自身生成的样本作为回放数据，几乎可以消除遗忘。研究发现，当模型容量接近饱和时，遗忘仍会发生，因为模型无法吸收新信息而不覆盖旧知识。在容量充足的情况下，低学习率可以减少遗忘但需要更多训练步骤，而自生成回放打破了这一权衡，允许高学习率微调而不遗忘。这一方法避免了传统回放需要存储旧样本的不可行性，为持续学习提供了实用方案。
论文语言模型遗忘持续学习
推荐理由：这篇论文解决了语言模型持续学习中的核心痛点——遗忘问题，做模型微调或持续训练的团队可以直接用自生成回放方法，省去存储旧样本的麻烦，值得关注。
原文
5月25日
11:27
11:27官方账号arXiv cs.LG@Andres Nava, Matthieu Wyart
精选
该研究提出了一种分布理论，解释语言模型中上下位关系（如“动物-狗”）的几何编码机制。基于WordNet中词对共现频率与层级距离相关的假设，理论证明word2vec嵌入的Gram矩阵谱结构会自然形成从粗到细的层级分裂几何。实验在多个WordNet子树上验证了该预测，并发现该特征在Gemma 2B模型的unembedding中同样显著。结果表明，LLM中的层级概念几何可能并非源于特定功能机制，而是词共现统计的谱结构涌现结果。
论文语言模型层级概念词共现
推荐理由：这项研究揭示了语言模型层级概念几何的统计根源，对理解LLM表征形成机制的研究者很有价值，建议关注其理论框架与实验验证。
原文
11:12
11:12官方账号arXiv cs.AI@Zisu Huang, Jingwen Xu, Yifan Yang, Ziyang Gong, Qihao Yang, Muzhao Tian, Xiaohua Wang, Changze Lv, Xuemei Gao, Qi Dai, Bei Liu, Kai Qiu, Xue Yang, Dongdong Chen, Xiaoqing Zheng, Chong Luo
精选
这篇论文系统研究了语言智能体通过复用模型生成的技能（结构化程序化知识）来提升性能的全过程，涵盖经验生成、技能提取和技能消费三个阶段。研究发现，模型生成的技能平均有益，但存在显著的负迁移现象，且技能提取器和消费器的表现并不一致——一个模型可能是强提取器但弱消费者，反之亦然。技能效用与模型规模或基线任务强度无关。通过深入分析每个阶段，论文揭示了经验组成如何影响技能质量、有用技能的特征以及同一技能在不同消费者间的迁移效果。最后，作者提出了一种元技能方法，指导技能提取聚焦于实际效用相关的特征，一致提升了技能质量并大幅减少了负迁移。
论文智能体技能复用负迁移
推荐理由：这篇论文为智能体技能复用提供了首个系统性评估框架，做智能体开发或研究的人可以从中了解技能提取与消费的匹配规律，避免负迁移陷阱，值得关注。
原文
09:58
09:58官方账号arXiv cs.LG@Qian Zhang, George Em Karniadakis
精选
该研究提出一种基于语言模型架构的算子学习框架，用于从稀疏测量数据重建流场。该方法将流场重建视为序列到序列学习任务，将稀疏测量作为上下文，未观测位置作为查询，以无网格方式学习空间相关性和长程依赖。在四个基准数据集（二维涡街模拟、美国日平均温度、三维血流模拟、三维湍流射流测量）上，即使观测数据少于10%，该方法仍能实现高精度重建。结果表明语言模型可作为科学数据重建的鲁棒可扩展工具，为科学工程基础模型开发提供了新方向。
论文流场重建语言模型算子学习
推荐理由：流体力学和科学计算的研究者终于有了一个用语言模型做流场重建的新思路——稀疏数据下也能高精度重建，做CFD或实验测量的团队值得关注这个方向。
原文
5月23日
09:26
09:26rohanpaul_ai@rohanpaul_ai
72°
DeepMind 创始人 Demis Hassabis 指出当前 AI 的局限：语言可以描述世界，但无法包含世界。语言模型从文本中意外学到了大量现实结构，但文本只是经验的压缩残渣，而非经验本身。世界由需要亲身经历、触摸、预测、违反和修复的约束构成，而非仅由可命名的事实组成。Hassabis 认为世界模型旨在学习物理现实的隐藏语法——物体如何持续、力如何展开、空间如何变化、行动如何产生反馈。他强调，智能不仅是回答得好，更是知道如果你移动、伸手、推、闻、滑倒或失败，接下来会发生什么。
AI模型世界模型语言模型Demis Hassabis
推荐理由：Hassabis 点出了当前大语言模型的核心天花板——文本无法替代真实体验，做 AI 研究或关注 AGI 路径的人值得细读，看完会对世界模型的价值有更深理解。
原文
5月19日
14:26
14:26官方账号arXiv cs.AI@Payal Chandak, Victoria Alkin, David Wu, Maya Dagan, Taposh Dutta Roy, Maria Clara Saad Menezes, Ayush Noori, Nirali Somia, John S. Brownstein, Ran Balicer, Rebecca W. Brendel, Noa Dagan, Isaac S. Kohane, Gabriel A. Brat
精选
医学伦理天然具有多元性，但大型语言模型在提供医疗建议时可能隐含单一的价值偏好。研究者提出了一个审计框架，包含临床验证的伦理困境基准和从决策中恢复价值优先级的方法。前沿模型在讨论伦理冲突时能展现观点多元性，但个体决策几乎确定，无法复现医生群体的分布性多元。多数模型的价值优先级在医生变异范围内，但部分模型显著低估患者自主权。若不加干预，单一模型可能将自身价值偏好大规模强加给所有患者，取代临床伦理的多元性。
论文AI伦理医疗AI价值多元性
推荐理由：这篇论文揭示了AI医疗建议中隐藏的价值偏见问题，做医疗AI开发或临床决策支持的团队值得关注——它提醒我们，模型不只是输出答案，还在无声地传递伦理立场。
原文
5月18日
10:33
10:33官方账号arXiv cs.LG@Nathan Roll, Jill Kries, Laura Gwilliams, Cory Shain
精选
受人类失语症研究启发，研究者提出了一种新方法，通过“损伤”（置零）语言模型中的参数，并观察其输出在临床失语症症状测试（TAB）中的表现，来揭示模型的功能组织。对5个1B参数规模的语言模型进行112,426次测试后，发现模型能表现出全部失语症症状，但分布与人类显著不同。注意力组件（查询、键、值、输出）与前馈组件（上、门、下）之间症状谱差异明显，而同一机制内组件差异较弱。早期层损伤更易导致句法和语义症状，中后期层则更多引发音韵和流畅度缺陷。尽管某些损伤模式与特定人类失语症类型定量相似，但定性差异表明失语症综合征受学习和处理细节影响，而非语言处理中断的领域不变结果。
论文语言模型失语症可解释性
推荐理由：这项研究为理解语言模型内部功能组织提供了全新视角，做AI可解释性或认知科学交叉研究的团队值得关注——它把临床神经心理学方法搬到了模型分析中，看完会重新思考“模型损伤”的意义。
原文
5月14日
13:27
13:27官方账号arXiv cs.AI@Jonathan A. Diller, Fernando Cladera, Camillo J. Taylor, Vijay Kumar
精选
传统无人机自主搜索依赖几何覆盖模式，忽略目标语义，在大规模环境中效率低下。LMPath 提出一种新流程：给定地理围栏和目标描述，先用生成式语言模型判断目标可能出现的区域，再用视觉基础模型对卫星图像分割，形成语义探索先验。基于该先验，可生成多种无人机路径，如最小化预期搜索时间、在有限航程内最大化发现概率，或缩小搜索范围到最可能区域。真实无人机和仿真实验表明，LMPath 生成的路径在搜索任务中显著优于传统规划方法。
论文无人机语义搜索路径规划
推荐理由：无人机搜索终于有了语义理解能力——LMPath 用语言模型和视觉模型替代纯几何覆盖，做搜救、巡检、环境监测的团队可以直接参考，实测效率提升明显。
原文
5月13日
21:35
19:12
19:12官方账号arXiv cs.LG@Guinan Su, Yanwu Yang, Xueyan Li, Jonas Geiping
精选
当前语言模型（如ChatGPT）仍基于单消息流架构，导致模型无法同时读写、思考与行动，限制了自主智能体的效率。本文提出多流LLM架构，将输入、输出、思考等角色拆分为独立并行流，每次前向传播可同时读取多输入流并生成多输出流。该方法解决了单流瓶颈，提升了并行效率、安全性和可监控性，为自主智能体（如编程、计算机操作）提供了更高效的基础架构。
论文多流架构自主智能体并行计算
推荐理由：自主智能体开发者长期受困于模型无法同时读写和思考的瓶颈，这篇论文直接给出了数据驱动的并行流解决方案，值得关注其后续实现和效果。
原文
19:12
19:12官方账号arXiv cs.AI@Jacob Fein-Ashley, Paria Rashidinejad
精选70°
论文提出Attractor Models，用隐式微分求解不动点替代传统循环Transformer的显式迭代，训练内存不随有效深度增长，迭代次数由收敛自适应决定。在语言模型预训练中，770M参数模型超越1.3B Transformer（训练数据多一倍），困惑度降低46.6%，下游准确率提升19.7%。在推理任务中，27M参数模型在Sudoku-Extreme和Maze-Hard上分别达91.4%和93.1%准确率，而Claude和GPT o3完全失败。模型还展现出“平衡内化”现象：训练后可在推理时移除求解器而性能几乎不降。
论文循环Transformer隐式微分不动点求解
推荐理由：循环Transformer训练难、部署贵的问题被Attractor Models用不动点求解优雅解决，做语言模型预训练或推理增强的团队值得关注——它用更少参数和成本实现了对更大模型的超越。
原文
5月11日
22:16
22:16AK@_akhaliq
该论文提出了一种连续潜在扩散语言模型（Continuous Latent Diffusion Language Model），将扩散模型应用于语言建模的潜在空间。与传统自回归模型不同，该方法在连续潜在空间中进行迭代去噪，可能提升生成质量和效率。论文展示了模型在文本生成任务上的初步结果，为语言建模提供了新的研究方向。这一工作将视觉领域成功的扩散模型扩展到自然语言处理，具有重要的理论意义和实践潜力。
论文扩散模型语言模型论文
推荐理由：这是扩散模型应用于语言建模的又一探索，为NLP领域提供了非自回归的新思路，值得关注其在文本生成和编辑等场景的后续进展。
原文
11:45
11:45官方账号arXiv cs.AI（学术论文）
本研究通过押韵对联完成任务，测试语言模型在生成过程中是否存在对结构约束的未来标记的内部规划。使用线性探针和激活补丁方法，在Qwen3、Gemma-3和Llama-3三个系列超过十个规模的模型上进行实验。探针显示所有模型在行边界处都能线性解码未来押韵信息，且信号随规模增强。然而，激活补丁表明只有Gemma-3-27B在因果上依赖此编码，出现从押韵词到行边界的因果驱动转移（约第30层）。其他模型在整个生成过程中持续依赖押韵词，尽管行边界有强探针信号，但因果影响近乎为零。通过两阶段路径补丁，研究成功定位了Gemma-3-27B中负责转移的五个注意力头，恢复了约90%的押韵路由能力。
论文语言模型机制理解因果干预
推荐理由：该工作揭示了不同语言模型在规划能力上的根本差异：仅部分模型（如Gemma-3-27B）真正依赖内部的前瞻性计划，而其他模型则依赖逐词条件。这对理解模型内部机制和未来设计更可控的生成系统有参考价值。
原文