语言模型相关 AI 资讯

技巧 Agent 与开发者00:11

李继刚谈语言：人类思维中的「认知漩涡」

李继刚用鱼和漩涡的比喻解释语言怎么驱动思考，写提示词的人看了会对「为什么要写下来」有新的理解。

#李继刚 #提示词工程 #语言模型 #认知科学

李继刚@lijigang_com原文

论文11:28

研究：微调前线性可读的知识才能泛化，惰性事实做不到

一篇挺有意思的可解释性论文：模型记住了不代表会用，能不能泛化取决于知识在表征里是不是线性可读的，跨 11 个模型验证了这一点。

#线性探针 #微调 #可解释性 #知识泛化

arXiv cs.LG@Faridoun Mehri, Hinrich Schütze原文

论文09:32

论文提出RC-DS坐标，稀疏自编码器因子恢复率从0.506升至0.913

SAE学到什么会被readout缩放改变？RC-DS坐标把因子恢复率从0.506拉到0.913。

#稀疏自编码器 #RC-DS #可解释性 #语言模型

arXiv cs.LG@Brain Xiao, Sarah Wilson原文

论文 Agent 与开发者11:22

连续扩散语言模型设计空间研究

论文提出DoubleCat和SemiCat两种新方法，让连续扩散语言模型性能超越离散扩散，TinyGSM准确率提升三倍多。

#CDLMs #扩散模型 #TinyGSM #SemiCat

arXiv cs.LG@Oscar Davis 等 8 人原文

技巧 Agent 与开发者10:52

本地智能体AI框架生成边缘案例场景

这个本地AI框架能自动生成边缘案例场景，比传统方法更灵活，还能提供安全保证的可追溯证据。

#智能体 #边缘案例 #安全保证 #语言模型

arXiv cs.AI@Victoria J. Hodge 等 3 人原文

论文 Agent 与开发者10:31

基于解释性世界模型的强化学习信用分配

斯坦福团队新论文EWM用语言模型解释解决RL长期奖励分配问题，在多个基准测试中大幅提升性能。

#强化学习 #解释性世界模型 #信用分配 #语言模型

arXiv cs.AI@Oriol Corcoll 等 3 人原文

行业02:34

Stanford AI Lab 携多个项目参展 COLM 2026

Stanford AI Lab 把这次在 COLM 上的展示项目整理成了一篇博客，对语言模型研究感兴趣的话可以顺手翻翻。

#Stanford AI Lab #COLM #语言模型 #学术论文

Stanford AI Lab@StanfordAILab原文

论文10:22

研究提出"虚假遗忘"机制：微调中"丢失"的知识可被恢复

一篇挺有意思的机制分析：模型微调后"忘了"的东西其实还在，删掉一个方向就能捞回来，做微调的值得看看原理。

#微调 #灾难性遗忘 #Transformer #语言模型

arXiv cs.LG@Vedant Palit 等 5 人原文

论文 Agent 与开发者10:53

Gacha解码：通过指令跟随实现多样化生成

Gacha解码方法让语言模型通过'掷骰子'实现多样化生成，模型能力越强效果越好。

#Gacha Decoding #语言模型 #指令跟随 #生成多样性

arXiv cs.AI@Scott Geng 等 6 人原文

论文 Agent 与开发者10:25

分层连续扩散语言模型

新提出的HC-DLM模型解决了扩散语言模型的统计依赖问题，在多个任务上表现优异。

#HC-DLM #扩散模型 #语言模型 #结构化推理

arXiv cs.LG@Hui Ren 等 5 人原文

论文 Agent 与开发者10:23

ZFO优化框架：大模型微调新方法

MIT团队提出ZFO框架，用更少的计算量解决大模型微调步长选择难题，代码已开源。

#ZFO #大模型微调 #优化算法 #语言模型

arXiv cs.LG@Cristian McGee 等 3 人原文

论文 Agent 与开发者10:18

语言模型自修复机制研究：增益与反作用力

这篇论文揭示了语言模型"自修复"的数学本质，解释了为什么移除组件后其他部分会补偿。

#语言模型 #自修复 #Gemma #Qwen

arXiv cs.LG@Areeb Ahmad 等 3 人原文

论文 Agent 与开发者精选19:23

AI代币价值研究：网络文本中的缩放定律

新研究揭示AI代币在模型训练中的价值变化，提出能预测不同规模模型效果的缩放定律。

#AI代币 #缩放定律 #语言模型 #预训练

Tanishq Abraham (论文推介)@iScienceLuvr原文

论文 Agent 与开发者12:38

AI生成文本对模型训练的影响研究

斯坦福团队发现AI文本训练模型有临界点，超过反而有害，还发布了新数据集。

#WildAI #scaling laws #预训练 #AI生成文本

arXiv cs.LG@Jenna Russell 等 7 人原文

模型 Agent 与开发者12:36

OpenTSLM TeeMoE统一时间序列语言模型

OpenAI发布TeeMoE模型，能同时处理时间序列预测、上下文预测和语言推理，在三个基准测试中排名前三。

#OpenTSLM #TeeMoE #时间序列 #预测模型

arXiv cs.LG@Tony Chen 等 11 人原文

论文 Agent 与开发者12:34

连续扩散语言模型的分布匹配蒸馏方法

OpenAI新研究提出两种蒸馏方法，大幅降低扩散模型计算成本，4次评估即可生成1024个高质量token。

#扩散模型 #分布匹配蒸馏 #Simplex-DMD #Reinforce-DMD

arXiv cs.LG@Paul Le Van Kiem 等 4 人原文

论文 Agent 与开发者10:14

低差异抖动优化量化循环状态缓存

论文提出了一种确定性抖动方法，能显著提升量化语言模型在长文本生成中的性能，无需额外计算成本。

#Mamba #量化 #循环状态 #Weyl抖动

arXiv cs.LG@Snigdha Chandan Khilar原文

论文09:39

ER-JEPA：经验回放提升语言模型联合嵌入预测学习

研究人员提出ER-JEPA，通过经验回放机制提升语言模型预测准确性，在多个基准测试中表现更好。

#ER-JEPA #LLM-JEPA #语言模型 #联合嵌入预测

arXiv cs.AI@Jingnan Pu 等 3 人原文

论文 Agent 与开发者官方一手精选22:45

语言模型树结构表达式序列化研究

苹果研究团队揭秘语言模型如何处理树结构信息，16个模型往返测试揭示序列化瓶颈。

#语言模型 #序列化 #树结构表达式 #苹果研究

官方一手Apple ML Research原文

论文 Agent 与开发者精选20:36

Telescopic Language Models 发布

新发布的 TLM 模型通过独特的前缀监督方法，实现了在任意深度都保持有效语言模型的能力。

#Telescopic Language Models #Transformer #语言模型 #前缀监督

Tanishq Abraham (论文推介)@iScienceLuvr原文

论文 Agent 与开发者73°20:35

ROFT提升智能体模型无需强化学习

ROFT方法让智能体通过自我解释就能提升性能，比强化学习简单多了。

#ROFT #智能体 #微调 #语言模型

Tanishq Abraham (论文推介)@iScienceLuvr原文

模型 Agent 与开发者多源确认83°19:21

李飞飞谈三维世界与语言模型的本质差异

李飞飞解释为什么三维空间智能比语言模型更复杂，物理世界有真实约束。

#Fei-Fei Li #World Labs #三维世界 #空间智能

事件专题

a16z@a16z3 个信源在谈原文

模型 Agent 与开发者21:36

Apollo模型问世：专攻古希腊莎草纸修复

奥地利团队推出Apollo模型，能读懂古希腊莎草纸，让古籍修复不再只靠少数专家。

#Apollo #古希腊语 #Mistral #古籍修复

IT之家原文

论文 Agent 与开发者08:01

语言模型在干净基准测试中表现良好，但在实际应用中仍可能遇到困难

作者分享了从原型结果到生产环境的评估实践，对想了解如何将模型部署到实际应用中的人有用。

#提示词工程 #评估实践 #语言模型

GitHub@github原文

模型中美对照08:47

AI 模型 Tilly Norwood 出现采访中语言错误

朋友，你肯定听说过 Tilly Norwood 这个新 AI 模型，它最近在媒体上很火。不过它好像有点小问题，在一次采访里居然说中文了，这有点尴尬。

#Tilly Norwood #AI #多模态 #语言模型

techcrunch@Amanda Silberling原文

论文 Agent 与开发者精选10:23

一种针对混合专家语言模型的专家剪枝方法 HOPE

研究团队提出的新方法 HOPE，通过考虑专家间的协同作用来优化混合专家语言模型的剪枝过程，在 122B 参数模型上测试，HOPE 在 50% 剪枝率下比 REAP 等方法性能更好，在代理任务上提升达 6.1%，证明了其有效性。

#Mixture-of-Experts #剪枝 #语言模型 #代理任务

arXiv cs.AI@Alex M. Tseng 等 5 人原文

论文 Agent 与开发者10:33

语言模型难以区分诚实与说谎的奖励渠道

这个研究挺有意思，作者测试了几个大模型，发现它们在奖励渠道被篡改时能很好识别说谎者，但在奖励没变时，会错误地判断诚实者，这个现象挺有趣的。

#Qwen #Llama #语言模型 #奖励机制

arXiv cs.LG@Arman Nik Khah原文

模型中美对照23:56

Claude Fable 5.1语言较前代更'轻量级'

想了解Claude Fable 5.1语言风格变化，和Fable 5相比有何不同？这篇文章值得一读。

#Claude #语言模型 #Fable 5.1 #写作风格

官方账号Decoder@Matthias Bastian原文

论文 Agent 与开发者精选73°09:36

RiLM: 通过测地线解码实现高效语言建模

研究人员提出RiLM模型，用测地线解码替代传统输出层，小模型性能翻倍。

#RiLM #语言模型 #参数效率 #测地线解码

arXiv cs.AI@Fang Li原文

论文 Agent 与开发者11:18

LLM决策审计中评估工具影响比人口偏见更显著

这篇论文揭示了LLM审计中评估工具设计比人口偏见更能影响结果，对AI公平性评估有重要启示。

#LLM #AI公平性 #决策审计 #偏见评估

arXiv cs.AI@Siddharth Vohra, Manikandan Ravikiran原文

论文 Agent 与开发者11:31

Transformer模型上下文区分测量工具包技术手册

研究人员发布了一套开源工具包，可测量Transformer模型如何区分同一词在不同上下文中的含义，包含完整流程和避免常见偏差的方法。

#Transformer #语言模型 #上下文区分 #测量工具包

arXiv cs.AI@José Luciano Verçosa Marques 等 5 人原文

论文 Agent 与开发者78°09:40

RISE：递归改进通过自我外推策略蒸馏

RISE方法解决了传统蒸馏中教师质量瓶颈问题，用模型自身轨迹构建教师，在多项任务中超越现有方法。

#RISE #RLVR #策略蒸馏 #语言模型

arXiv cs.AI@Yang Li 等 3 人原文

论文11:25

语言模型欺骗研究的因果框架

这篇论文提出了语言模型欺骗研究的因果框架，区分了欺骗行为与欺骗机制，通过实验验证了看似欺骗的行为不一定有相应机制支持。

#语言模型 #欺骗机制 #因果框架 #开源模型

arXiv cs.AI@Yakov Pyotr Shkolnikov原文

论文精选73°11:51

UE5M3 FP4块缩放实现稳定语言模型预训练

NVIDIA提出新方法让FP4预训练更稳定，训练速度提升21.2%，模型性能全面超越现有方案。

#Nemotron-H #FP4 #UE5M3 #量化训练

arXiv cs.LG@Robert Hu 等 3 人原文

论文11:44

语言模型概率预测一致性研究

荷兰书利润方法评估语言模型预测一致性，发现模型在概率预测上存在显著不一致，尤其在复杂逻辑关系下更明显。

#语言模型 #概率预测 #荷兰书 #一致性

arXiv cs.LG@Isaiah Andrews, Suproteem Sarkar原文

论文 Agent 与开发者精选73°10:02

CivBench：文明VI中的长期智能体基准测试

MIT团队发布文明VI智能体基准测试，揭示AI在长期规划中的监控和执行缺陷。

#CivBench #文明VI #智能体 #MCP

arXiv cs.AI@Austin Tudor David Andrews 等 6 人原文

论文精选73°09:07

语言模型逻辑有效性研究

这篇论文揭示了语言模型内部逻辑表示与行为表达的分离现象，对理解LLM推理机制有重要价值。

#transformer #逻辑推理 #语言模型 #隐藏状态

arXiv cs.LG@Smitha Muthya Sudheendra, Jaideep Srivastava原文

论文10:49

CordisBench评测语言模型组件生命周期推理能力

CordisBench基准测试了模型在动态代理环境中的组件生命周期推理能力，发现模型随复杂度增加可靠性下降，GPT-5.6 Luna在中等推理下每题需近3000个token。

#CordisBench #语言模型 #组件生命周期 #推理能力

arXiv cs.AI@Damien Sileo, Dimitri Kachler原文

模型精选73°10:43

多模态自回归扩散Transformer架构发布

新发布的架构融合了语言和视频模型优势，从零开始预训练，多模态处理能力强。

#多模态 #Transformer #自回归扩散 #视频模型

AI Will@FinanceYF5原文

论文10:50

语言模型预计算内存成本研究

论文揭示了预计算内存的重建成本和更新策略，对优化大模型上下文处理有实用价值。

#Llama-3.1-8B-Instruct #预计算内存 #键值缓存 #语言模型

arXiv cs.LG@Asa Shepard原文