LLMs 相关 AI 资讯 · AITOP

9月3日

12:14

官方账号arXiv cs.AI@Urja Pawar, Rajitha Ramanayake, Owen O'Neill, Nabeel Kemal, Abhishek Mandal, Houssem Chatbri, Christopher Martin

精选73°

研究人员提出两种互补信号检测黑盒大模型幻觉：语义熵和token不确定性。他们开发了TopK方法聚合token信号，CoCoA方法结合目标响应不确定性和语义相似性，以及Gated和Stacked两种监督方法。研究在7个基准上测试了4个语言模型，Stacked方法在近半数情况下表现最佳，TopK和CoCoA无需监督标签也具竞争力。

论文 LLMs 幻觉检测语义熵

推荐理由：这篇论文教你如何检测黑盒大模型的幻觉，有4种方法可选，无需监督标签也能用。

原文

11:49

官方一手arXiv: DeepSeek@Zhengyi Jin, Ru Zhang, Xiao Chen, Xinbo Liu, Jiaxuan Lin, Jia Huang, Jianyi Liu, Zhen Yang

精选73°

研究人员提出FUSE框架，通过知识(K)、防御(D)和危害(H)三个正交管道评估模型。该框架使用化学-生物(CB)模块评估了12个商业LLM，来自Claude、DeepSeek和GPT四个家族。研究发现模型间危险能力存在显著差异，知识相当的模型在拒绝韧性上表现不同，强防御模型在服从时仍可能生成有害内容。时间分析表明，新模型知识增强但防御仅部分改善，扩展和对齐进展未均匀转化为安全提升。

论文 FUSE LLMs Claude

推荐理由：FUSE框架首次系统评估了12个商业LLM的危险能力，发现模型间存在显著差异，新模型知识增强但安全提升有限。

原文

9月2日

10:42

官方账号arXiv cs.AI@Yingwen Zhang, Meng Wang, Liqiang He, Shiqi Wang

该研究探索大语言模型能否设计视频编码工具，以Planar模式为例进行实证研究。实验在生成-评估循环中进行，LLM生成新的Planar预测器，编码器评估其性能并提供反馈。在Fraunhofer Versatile Video Encoder(VVenC)的快速预设下，LLM生成的模式比传统Planar模式节省0.18%的比特率，复杂度仅增加0.4%。在增强压缩模型(ECM)评估中，两种集成策略在低分辨率约束下均能带来编码增益。

论文 LLMs Planar模式视频编码

推荐理由：论文展示LLM能设计视频编码工具，比传统方法节省0.18%比特率，复杂度仅增加0.4%。

原文

10:14

官方账号arXiv cs.LG@Jundong Hu, Shekar Ramachandran

精选73°

研究团队分析了9个开源模型在4种架构中的量化损伤分布。通过因果混合精度干预方法，发现恢复75%精度差距需要修复约一半层级的参数。在相同精度预算下，全局采用更细粒度量化比选择性修复关键层效果更好，性能提升21-52点。Qwen3-8B模型是唯一例外，其精度恢复高度集中在特定层级。

论文 LLMs 量化 Qwen3-8B

推荐理由：这篇论文揭示了LLM量化损伤的分布规律，证明全局量化比局部修复更有效，对模型部署有实际指导意义。

原文

10:11

官方账号arXiv cs.LG@Yiming Huang, Ziche Liu, Zhuohang Wu, Yiqian Wang, Junxia Cui, Xinkai Zou, Linjun Mao, Nan Huang, Naicheng Yu, Kaijie Zhu, Yue Ma, Kun Zhou, Letian Peng, Jingbo Shang

精选73°

研究团队推出SCILAWS-BENCH基准，包含118个问题，源自381篇科学论文，覆盖291个候选定律和约800万真实数据点。该基准包含SCILAWS-REAL和SCILAWS-PARALLEL两种设置，分别评估模型从固定观测中提出定律和主动查询世界以恢复隐藏定律的能力。研究发现预测拟合度可能与科学有效性存在差异，模型记忆能力影响其能否再现或超越已发表公式。

论文 SCILAWS-BENCH LLMs 科学发现

推荐理由：研究人员发布科学定律发现基准SCILAWS-BENCH，包含真实数据和合成世界两种测试场景，评估LLM科学发现能力。

原文

9月1日

10:17

官方账号arXiv cs.AI@Debarpan Bhattacharya, Malay Phadke, Sriram Ganapathy

精选73°

研究人员提出BiG-SURE，一种基于跨温度语义一致性的不确定性估计方法。该方法通过构建锚点-探针二分图，使用NLI蕴含分数计算置信度。在文本QA、多语言QA和多模态QA任务中，BiG-SURE在黑盒模型设置下提升了平均弃权AUROC。

论文 BiG-SURE LLMs VLMs

推荐理由：BiG-SURE能帮你评估黑盒大模型的不确定性，无需访问模型参数，简单实用。

原文

09:11

官方账号arXiv cs.AI@Shi-Ju Ran, Kun Zhang, Xi Wu, Liu-Si Yang, Wen-Jun Li

精选73°

ASKS系统使用大语言模型处理56篇论文，生成可读的Wiki视图和机器可读语义。系统通过确定性检查将语义转换为文档级GraphDelta，利用嵌入几何和显式图规则整合到持久状态。编译过程生成了以张量网络方法为中心的研究图谱，包含量子多体研究、张量网络机器学习和量子AI方向。每个编译步骤都可追溯源文献，保持与原始记录的链接。

AI模型 ASKS LLMs 科学知识编译

推荐理由：ASKS系统用LLM编译56篇论文，把科学知识变成可追溯的图谱，比传统方法更系统化。

原文

09:09

官方账号arXiv cs.AI@Yi Yu, Bo Wang, Chong Feng, Ge Shi, Xia Liu, Ziyi Yang, Xuewen Shi

精选73°

SUP-MIMIC 是一个基于 MIMIC-IV-v3.1 的多任务框架，包含基础评估(BA)、诊断发散任务(DDT)和诊断收敛任务(DCT)。DDT 评估模型对表型相似病例的"一对多"区分能力，DCT 评估模型对不同病理通路的"多对一"诊断模式识别能力。研究显示，最先进 LLM 在 DDT 和 DCT 上的性能显著下降，暴露了模型对统计捷径的系统性依赖。

论文 SUP-MIMIC LLMs MIMIC-IV-v3.1

推荐理由：SUP-MIMIC 基准测试揭示了 LLM 在临床诊断推理中的缺陷，特别是对矛盾证据的处理能力不足。

原文

03:44

Paul Graham@paulg

73°

Paul Graham观察到，大语言模型(LLMs)的重要性体现在内部人士对其能力的惊讶程度上。Synopsi的Rasty Turek指出，许多AI研究者对OpenAI/Hugging Face黑客事件感到震惊，而普通大众却对此毫不知情。这一事件具有灾难性影响，但主流媒体关注甚少。

行业 OpenAI Hugging Face LLMs

事件专题

推荐理由：Paul Graham分享了一个有趣观察：AI研究者对黑客事件的震惊与公众的忽视形成鲜明对比。

原文

8月31日

09:09

官方账号arXiv cs.LG@Alexia Jolicoeur-Martineau, Rhea Sanjay Sukthanker, Pashmina Cameron, Emy Gervais

精选73°

研究显示滑动窗口注意力(SWA)在多个大语言模型的各种下游任务上表现与或优于后训练线性注意力模型。在长上下文推理任务中，SWA性能比线性注意力高2到10倍。SWA无需后训练，速度快且内存需求低。

论文 Sliding Window Attention Linear Attention LLMs

推荐理由：SWA比线性注意力更高效，无需后训练就能实现更好性能，内存占用低，推理速度快。

原文

8月28日

21:10

官方账号Anthropic@AnthropicAI

精选

Anthropic表示在开源MHS模型前仍需更多研究。该模型目前缺乏物理直觉，仅通过文本和图像学习物理世界知识。研究预览版将帮助构建更多安全评估，加强AI在物理世界应用的保护措施。

AI模型 MHS Anthropic 物理直觉

事件专题

推荐理由：Anthropic推迟开源MHS，称LLMs仍需提升物理直觉能力，研究预览版将强化AI物理世界应用的安全评估。

原文

8月27日

09:27

官方账号arXiv cs.AI@Bobby Cheng, Adam Gaber, Zhengyuan Liu, Catherine Arnett, Omer Goldman, Cheston Tan, Leshem Choshen

本研究通过多语言自我对弈，量化了大型语言模型在不同语言中技能的不一致性。测试了三个模型在八种语言和六种游戏中的表现，发现同一模型在不同语言中的表现差异显著，包括胜负差距、无效动作和策略倾向。结果表明，技能差异是真正多语言模型发展中的主要障碍之一。

论文 LLMs 多语言模型技能差异

推荐理由：这篇论文揭示了大型语言模型在不同语言中的技能差异，对于理解多语言模型的发展具有重要意义。

原文

09:19

官方一手arXiv: DeepSeek@Xiao Fan, Jingyuan Li, Hongbin Guo, Yubo Han, Yi Zhang

This paper proposes claim-locked reporting, a protocol that ensures the statistical evidence in scientific reports is fixed by structured results before prose generation. It improves reproducibility by 37.4 and 20.5 points in fMRI and randomized controlled trial reporting, respectively. DeepSeek's fMRI cost analysis demonstrates lower token use and generation latency with this method.

论文 LLMs reporting protocol reproducibility

推荐理由：This paper introduces a new reporting protocol for scientific reports that could significantly improve reproducibility. It's a must-read for anyone interested in improving the quality of scientific reporting and the use of LLMs in research.

原文

8月25日

10:26

官方一手arXiv: DeepSeek@Toghrul Abbasli, Kentaroh Toyoda, Yuan Wang, Li Chen

This paper introduces claim-level confidence calibration for LLMs, addressing the issue of misaligned confidence with factual correctness. It proposes a framework that decomposes responses into claims and assigns calibrated confidence using inference-time signals. The framework is evaluated on six recent models and shows reduced calibration error on factual questions while revealing failure modes on adversarial false-premise questions.

论文 LLMs confidence calibration decision-making

推荐理由：This research provides a new approach to improve the reliability of LLMs in decision-making by calibrating claim-level confidence, which is particularly useful for high-stakes domains where accurate uncertainty estimation is crucial.

原文

10:25

官方一手arXiv: DeepSeek@Jiarui Dong, Yin Cai, Zhouhong Gu, Chenmou Wu, Ci Tao, Yiran Chen, Jialing Li, Xiaoran Shi, Juntao Zhang, Zhijun Fang

SchemaGUI是一个基于模板的基准，用于可控制GUI生成评估。通过从参数化界面模式合成成对的自然语言指令和确定性的函数调用引用，SchemaGUI可以在几秒钟内生成数千个确定性的标注任务，无需人工标注。在六个代表性双语场景中，对每个场景和语言评估了1000个实例，包括Qwen3.5系列、Qwen3-Coder-30B和DeepSeek-R1等五个主流模型。分析揭示了三个关键发现：精确的几何空间控制仍然是重要瓶颈；从4B扩展到27B的Qwen3.5提高了Schema可行性从91.56%到99.63%，但几何分数仅略有提高（从67.05%到75.30%）；生成难度高度敏感于布局复杂性，当前LLMs擅长简单顺序排列，但在密集网格和多区域组合中存在严重的坐标漂移；思考模式增加令牌消耗，同时通常降低GUI分数，特别是对于较小的模型。

论文 SchemaGUI GUI生成 LLMs

推荐理由：SchemaGUI提供了一个新的基准，用于评估可控制GUI生成，特别是对于LLMs在几何空间控制和布局复杂性方面的表现进行了深入分析，对于想要了解GUI生成领域最新进展的人来说是个好资源。

原文

10:16

官方一手arXiv: OpenAI@Chit-Fung Lam

本文提出新的Cantonese ParGram资源，并评估了LLMs在控制实验范式下的知识驱动语法工程。使用Cantonese ParGram资源作为黄金标准，与相应的英语基准进行对比，研究OpenAI的gpt-oss-120b和GPT-5.4是否能在系统变化的提示条件下从句子和目标正式结构生成可机器处理的语法。GPT-5.4优于gpt-oss-120b，而从目标正式结构生成的语法通常优于从句子生成的语法。尽管两种模型都能生成局部合理的短语结构规则、词汇条目和模板，但它们在多构造设置中往往难以协调相互作用的正式约束。研究结果描述了当前LLMs的潜在集成到AI辅助专家工作流程的能力和局限性：LLMs可能支持语法发展的中间阶段，但人类语言学专业知识在分析、验证和细化中仍然至关重要。该研究还贡献了新的Cantonese符号语法资源。

论文 GPT-5.4 语法工程 LLMs

事件专题

推荐理由：这篇论文评估了LLMs在语法工程中的实用性，特别是针对Cantonese ParGram资源，与GPT-5.4相比，gpt-oss-120b表现稍逊。研究有助于了解LLMs在语法工程中的优势和局限性。

原文

08:44

Gary Marcus@GaryMarcus

行业常将LLMs与AI混淆，忽视近期贡献主要来自添加（神经）符号元素，且新技巧在数学和编码等有限领域表现最佳。警惕行业对真实情况的隐瞒。一年前，GPT-5被认为证明AI陷入困境，但当时做出此论断的人显然错了，他们仍在继续发表错误观点。

行业 LLMs AI混淆行业误区

推荐理由：Gary Marcus指出行业混淆LLMs与AI，忽视添加元素和有限领域应用，提醒警惕行业对AI发展的误导。

原文

8月24日

21:34

elvis@omarsar0

Paul Graham建议构建自己的智能堆栈，包括基础技术和应用体验。他建议学习从头构建LLMs，并使用可获得的硬件训练尽可能强大的模型。

行业智能堆栈 LLMs Paul Graham

推荐理由：Paul Graham分享了他对构建智能堆栈的看法，强调了从头构建LLMs的重要性，值得一读。

原文

10:50

官方账号arXiv cs.AI@Yinan Liu, Zihan Zhou, Zichun Jin, Xinyu Wang, Bin Wang, Xiaochun Yang

本文提出PSL框架，将半结构化政治记录转化为LLMs的推理证据，通过提取立场信号和结构信号，在三个真实数据集和多个LLMs上，PSL在预测性政治问答任务中优于基线模型。

论文预测性政治问答 LLMs 半结构化数据

推荐理由：PSL框架将半结构化数据转化为LLMs推理证据，在预测性政治问答中表现优异，值得一试。

原文

09:57

官方账号arXiv cs.LG@Junseok Kim, Nakyeong Yang, Kyomin Jung

随着代理式AI的兴起，LLMs能够访问多样化的用户数据，引发了隐私问题。本研究引入个性化隐私概念，结合用户特定的披露偏好进行隐私控制。提出P3Bench基准，扩展上下文隐私策略。实验表明，基于提示的策略无法可靠地执行个性化隐私策略，Qwen2.5-7B和Gemma3-4B的平均策略无知率分别为51.25%和74.28%。针对此问题，提出Repair方法，通过调整披露行为以符合策略响应，显著提高对用户特定隐私偏好的遵守率。

论文个性化隐私 LLMs 注意力头干预

推荐理由：这项研究提出了个性化隐私控制的新方法，通过注意力头干预在LLMs中实现，对于关注隐私保护的用户来说是个好消息，它比现有方法更可靠地保护用户隐私。

原文

04:13

04:13官方账号Simon Willison’s Weblog（博客/媒体）

Drew Breunig指出，在Fable出现之前，优化编码工具似乎没有必要，因为新模型的出现往往能解决大部分问题。然而，Fable的出现虽然令人惊叹，但其高昂的成本使得Opus、5.6、K3和GLM等模型已经足够应对大多数需求。因此，人们开始思考哪些工作应该放在哪里。

论文 Drew Breunig Claude LLM定价

推荐理由：Drew Breunig分享了他对Fable的看法，揭示了免费午餐时代的终结，对于关注LLM定价和AI发展的读者来说，这是一篇值得阅读的文章。

原文

00:33

Paul Graham@paulg

78°

Paul G. 分享了他17岁时会做的事情：学习从头开始构建LLMs，并使用可获得的任何硬件训练尽可能强大的模型。

技巧 LLMs 构建LLMs 学习经验

推荐理由：Paul G. 分享了他的学习经验，对于想要了解LLMs构建过程的人来说是个不错的参考。

原文

8月22日

00:38

00:38官方账号Simon Willison’s Weblog（博客/媒体）

精选

Thomas Ptacek提倡为即使是个人工具的最小版本也构建真正的原生用户界面，因为编码代理降低了获得可用GUI的成本。他分享了关于自己编写的带宽和GPU监控macOS任务栏应用程序的经验，并鼓励将CLI转换为原生应用，这可能会改变你的思维方式。

技巧 Thomas Ptacek AI 生成式AI

推荐理由：Thomas Ptacek分享了他的经验，鼓励将CLI转换为原生应用，这是一个值得尝试的改变！

原文

8月21日

12:05

Gary Marcus@GaryMarcus

72°

Turing Award winner Rich Sutton discusses the limitations of Large Language Models (LLMs), suggesting they may represent only 20-25% of intelligence and emphasizing the need for broader understanding of AI beyond LLMs.

论文 Rich Sutton LLMs Turing Award

推荐理由：Rich Sutton, a Turing Award winner, shares his insights on LLMs, highlighting their limitations and the broader scope of AI intelligence.

原文

02:03

官方账号Decoder@Matthias Bastian

Pangram CTO Bradley Emi认为，LLM无法形成可识别的写作风格并非能力不足。后训练和安全防护栏大幅缩小了其表达范围。未受约束的基础模型已展现出更丰富的写作多样性。

AI模型 LLMs Pangram 后训练

推荐理由：Pangram CTO说，不是LLM写不好，是安全防护栏限制了它们。没加防护栏的基础模型，写作风格反而更多样。

原文

8月20日

07:16

07:16官方账号Simon Willison’s Weblog（博客/媒体）

杰里米·莫雷尔提出观点，认为大型语言模型（LLMs）为网页可扩展软件带来新机遇；该模型大幅降低开发插件成本，现代沙盒原语保障安全边界；开发者可构建可靠核心应用，让用户借大型语言模型补充功能。

AI模型 LLMs Extensible Software Jeremy Morrell

推荐理由：杰里米·莫雷尔讲了可扩展软件和大型语言模型的事儿，能帮开发者做新应用，用大型语言模型补充功能，比以前方式方便安全。

原文

7月28日

12:12

官方账号arXiv cs.AI@Zhenhan Gao, Marvin Muñoz Barón, Umm-e Habiba, Daniel Graziotin, Stefan Wagner

一篇针对34名程序员的用户研究发现，在AI代码审查中提供详细解释（条件A）获得最高信任评分（3.99/5），但仅提供审查反馈（条件B）反而获得最高同意率（89.22%），说明更多解释会促使开发者更频繁地质疑AI建议。无解释（条件C）的信任和同意率均最低。解释程度并未显著影响审查耗时。该研究为设计可信的AI代码审查系统提供了实证依据。

论文 LLMs Code Review XAI

推荐理由：这篇论文告诉你：给AI代码审查加解释，反而可能让人更不听话。详细解释信任高但同意率低，这结论挺反直觉的。

原文

7月15日

02:33

02:33官方账号Simon Willison’s Weblog（博客/媒体）

Armin Ronacher指出，软件项目的共享语言包括概念含义、边界、不变性等，这些理解存在于文档、代码、代码审查和对话中。在编码代理（coding agents）普及之前，这种共享理解通过摩擦机制维持，例如阅读代码、提问和跨团队协调。摩擦并不全是浪费，部分摩擦是同步团队成员理解的关键过程。

行业 Armin Ronacher coding-agents agentic-engineering

推荐理由：Simon Willison引用了Armin Ronacher的一段话，提醒我们AI代理时代别过度追求消除摩擦，有些摩擦其实是团队对齐理解的重要机制。

原文

7月14日

12:22

官方账号arXiv cs.LG@Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson

精选

传统参数压缩方法如量化产生码长随模型参数缩放，而prequential coding码长取决于数据熵。本文提出的requential coding使码长独立于参数数和数据熵，通常比prequential短数个数量级。在PAC-Bayes界中，该方法为十亿参数LLM提供了当前最优的泛化保证。实验还发现低熵文本比高熵图像包含更多可学习结构。

论文 Requential Coding 模型压缩 PAC-Bayes

推荐理由：这篇论文提出Requential Coding，码长不跟着模型大小和数据熵跑，比之前的方法短好几个数量级，还给十亿参数大模型给出了最牛的泛化保证。

原文

7月7日

12:14

官方账号arXiv cs.LG@Mohamed Amine Merzouk, Dmitri Carpov, Mirko Bronzi, Damiano Fornasiere, Adam Oberman

该研究通过线性探针在三个7-8B开源模型（如Llama-2、Mistral）的冻结隐藏状态上发现，模型在生成首个token之前即可从提示的最后隐藏状态线性解码总响应长度。探针在七个自然语言数据集上训练后，可迁移至未见过的受控合成数据，且性能优于统计基线。在模型修改回答时，探针的估计值会在回退位置发生方向性偏移，表明模型内部维护了类似计划的长度表示。

论文 LLMs 线性探针剩余长度

推荐理由：这篇论文发现LLM在生成前就“知道”要写多长，用线性探针就能解码，挺有意思的。

原文

6月29日

06:46

06:46官方账号Simon Willison’s Weblog（博客/媒体）

Jon Udell 反对“人类在环中”的说法，认为这拱手交出了主动权。他主张“人类代理在环中”，即由人类主导流程，邀请 LLM 代理加入团队。他以“Doctor, it hurts when agents create unreviewable PRs”为例，强调代理不该成为产生不可审查代码的黑箱。核心是让代理辅助而非替代人类的判断与工作流。

技巧 Jon Udell 智能体编程助手

推荐理由：Jon Udell 换了个角度聊 AI 工作流：别让代理做黑箱，让它们当团队助手，人类还是舵手。

原文

6月11日

02:52

OpenRouter@OpenRouterAI

精选

OpenRouter开发者构建了名为"Royale: Last Agent Stand"的大逃杀游戏，让11个LLM在零和博弈中对抗。实验共运行30次，结果显示最友善的模型（如Claude）输得最惨，而一个最不被看好的模型意外获胜。该实验表明，在竞争性任务中，模型过于礼貌反而会损害表现。

AI模型 OpenRouter LLMs 智能体对抗

推荐理由：AI太友善反成短板，看实测结果

原文