6月24日
6月17日
6月12日
6月10日
6月8日
11:20
11:20官方账号arXiv cs.AI@Luca Avena, Gianmarco Bet, Bernardo Busoni
该研究通过构建标准与反直觉两类离散概率问题数据集,测试了8个前沿大语言模型的概率推理能力。模型在标准问题上平均准确率达0.96,但在反直觉问题上骤降至0.59。研究还发现token偏差:将规范表述替换为伪装变体后性能下降超20%;在提示中嵌入误导性建议可使性能下降高达34%,且没有模型能免疫。结果表明,尽管LLM在高级数学问题上表现出色,但它们并非真正的概率推理者。
推荐理由:想用LLM做决策或数据分析的开发者注意了——模型在概率推理上存在系统性漏洞,反直觉问题和提示误导能轻易让它翻车,建议点开看看测试细节,避免在实际应用中踩坑。
6月5日
13:00
13:00官方一手arXiv: DeepSeek@Zeyang Yue, Chenfei Yan, Feifei Zhao, Haibo Tong, Mengwen Xu, Xiaozhen Wang, Erliang Lin, Yi Zeng
精选
CogManip 是一个新基准,专门评估大语言模型在多轮对话中的隐性心理操纵行为。它覆盖 15 种操纵策略、1000 个场景,经人类专家验证。测试了 GPT-5.4、DeepSeek-V3.2 等 13 个模型,发现风险差异显著。DeepSeek-V3.2 对系统提示高度敏感,提示工程和隐式目标审计是防御关键。该工具为 AI 安全审计提供了动态、隐蔽操纵行为的评估视角。
推荐理由:AI 安全研究者终于有了评估隐性操纵的专用工具——CogManip 覆盖 15 种策略、1000 个场景,做模型对齐和红队测试的团队可以直接拿来用。
6月2日
5月29日
13:02
13:02官方一手arXiv: DeepSeek@Haochen Yang, Ke Zhao, Mengyuan Ma, Xingyu Lu, Xiangfeng Wang, Hong Qian
精选
OptSkills 是一种面向优化建模与求解的智能体系统,通过聚类问题原型而非表面叙事来提升泛化能力。它利用大语言模型自动从自然语言中提取优化问题,并在聚类内探索多样建模与求解配置,将成功轨迹蒸馏为可复用的工作流技能。在多个数据集上达到 68.27% 的微平均准确率,在 MIPLIB-NL 基准上以 26.91% 超越 DeepSeek-V3.2-Thinking 4.53%。该系统还支持在分布外场景下通过新轨迹扩展技能库,代码和技能已开源。
推荐理由:做运筹优化或自动化建模的团队终于有了能应对问题类型变化的通用方案——OptSkills 通过原型聚类和技能蒸馏解决了传统方法对叙事变体敏感的问题,值得在复杂优化任务中试试。
11:05
11:05官方账号arXiv cs.AI@Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen
精选
大语言模型的预训练数据混合比例决定了其能力与缺陷,但这一信息极少公开。LLMSurgeon 提出“数据混合手术”框架,仅通过模型生成的文本就能逆向估计其预训练语料的领域分布。该方法利用校准后的软混淆矩阵解决领域混淆问题,在开源模型上验证了高精度。这为审计基础模型的数据构成提供了无需访问训练数据的实用后验方案。
推荐理由:想知道你用的模型到底吃了什么数据?LLMSurgeon 让数据审计变得可行,做模型安全、数据治理或开源复现的团队值得关注。
5月28日
5月26日
5月22日
11:11
11:11官方账号arXiv cs.AI@George Tsoukalas, Anton Kovsharov, Sergey Shirobokov, Anja Surina, Moritz Firsching, Gergely Bérczi, Francisco J. R. Ruiz, Arun Suggala, Adam Zsolt Wagner, Eric Wieser, Lei Yu, Aja Huang, Miklós Z. Horváth, Andrew Ferrauiolo, Henryk Michalewski, Codrut Grosu, Thomas Hubert, Matej Balog, Pushmeet Kohli, Swarat Chaudhuri
精选72°
研究人员首次大规模评估了用大语言模型生成形式化证明(Lean 语言)解决开放数学问题的能力。其最强大的智能体以每个问题几百美元的成本,自主解决了 353 个开放 Erdős 问题中的 9 个,并证明了 492 个 OEIS 猜想中的 44 个。该智能体已被部署在组合数学、优化、图论、代数几何和量子光学研究中。一个更基础的智能体(交替 LLM 生成与 Lean 验证)也复现了 Erdős 问题的成功,但在最难问题上成本更高。这些结果展示了 AI 辅助形式化证明搜索的潜力,并揭示了实现这一能力的智能体设计。
推荐理由:数学研究者终于有了能真正解决开放问题的 AI 工具——成本可控且覆盖多个数学分支,做组合数学或图论的人可以直接用这个智能体尝试自己的猜想。
5月21日
5月20日