#幻觉

共 28 条 · 7 天 0 条 · 30 天 8 条

AI安全 5 LLM 4 推理模型 3 提示词工程 2 智能体 2 404 Media 1 AudioSet 1 ChatGPT 1

信息流里打上「幻觉」标签的资讯、产品与论文，按刊登时间排，新的在上。

11月4日

论文 Agent 与开发者00:26

研究者用新模型复测旧结论：幻觉与偏见下降，谄媚问题仍在

你印象里 LLM 爱瞎编引用、偏见严重的结论可能过时了，这项复现研究用新模型重测了幻觉、偏见和谄媚，结果挺出乎意料。

#LLM #幻觉 #模型评测 #AI安全

Ethan Mollick@emollick原文

11月3日

论文 Agent 与开发者16:58

斯坦福用 20 个新模型复测 50 项 LLM 结论：44% 已失效

斯坦福拿 20 个新模型复测 50 条 LLM 常识，近一半已失效。做模型选型或写论文前翻翻这篇，能少踩不少过时结论。

#LLM #幻觉 #斯坦福 #研究复现

AI Will@FinanceYF5原文

10月28日

行业政策与合规09:54

AI 的隐患不是幻觉，而是不再展示推理过程

一篇换个角度看 AI 风险的评论：大家都在盯幻觉，作者说更该担心模型悄悄不给你看推理过程了，读着挺有启发。

#AI安全 #推理模型 #幻觉

e27@Faheem Aizat Kamsan原文

10月27日

行业多源确认03:35

ChatGPT 频频引导用户去找 404 Media 解决客服问题

Simon Willison 引用了 404 Media 记者Jason Koebler 的观察：ChatGPT 会把普通客服问题说成新闻线索，让人去找 404 Media 求助，挺离谱的。

#ChatGPT #OpenAI #404 Media #幻觉

事件专题

官方账号Simon Willison’s Weblog原文

10月23日

论文 Agent 与开发者10:54

研究追踪 LLM 生成 UML 类图时幻觉的来源

如果你用 LLM 画 UML 类图老出错，这篇把幻觉发生在哪一步讲清楚了，还给了实测能涨 4 个点 F1 的提示词写法。

#DeepSeek-R1 #Qwen3 #UML #幻觉

arXiv: DeepSeek@Mojdeh Rahmanian 等 4 人原文

论文 Agent 与开发者多源确认精选01:57

ClaimWriter 重写深度研究报告流程，幻觉减少 2.6–4.5 倍

Salesforce 研究团队做了个 ClaimWriter，写深度报告前先逐条核对来源，幻觉少了 2.6–4.5 倍，代码和基准都开源了。

#ClaimWriter #deep research #幻觉 #智能体

事件专题

官方账号Salesforce AI Research@SFResearch原文

10月20日

行业政策与合规23:30

surgical AI 可能在看医生口罩颜色而非手术本身

Sonia Joseph 用手术机器人这个例子讲透了为什么幻觉难以发现：输出看着合理，依据的线索却是错的，得看模型内部表征才知道。

#surgical AI #可解释性 #AI安全 #幻觉

The Information@theinformation原文

10月19日

技巧 Agent 与开发者17:39

Gergely Orosz：3 个 AI 模型在法律咨询上同时答错

Gergely Orosz 的亲身经历：3 个模型给法律意见全答错，律师才是对的，在自己不懂的领域真别全信 AI。

#Gergely Orosz #提示词工程 #AI安全 #幻觉

Gergely Orosz@GergelyOrosz原文

10月9日

模型 Agent 与开发者多源确认精选02:39

Harvey LAB-AA v1.1 加入幻觉检查，Grok 4.7 以 9.4% 登顶法律基准

法律基准加了幻觉门槛后排名大洗牌：Muse Spark 本来领先，过滤幻觉后掉到第二，GPT-6 Astra 几乎不缩水。看各家法律任务幻觉差距挺有意思。

#Harvey LAB #幻觉 #法律AI #Grok 4.7

事件专题

官方账号Artificial Analysis@ArtificialAnlys原文

10月8日

论文 Agent 与开发者11:15

PHRBench：评估大模型推理中纠正幻觉前提的行为基准

arXiv 上新出的 PHRBench，测 18 个模型怎么在推理途中纠正幻觉前提，还发现提示特征能预测能否翻盘，做评测的可以看看。

#PHRBench #幻觉 #推理模型 #评测基准

arXiv cs.AI@Linghao Meng 等 8 人原文

模型03:50

评论：半年内模型幻觉问题已明显缓解，不宜再视为无解

一条关于幻觉问题正在被缓解的观点帖，作者认为半年来的模型进步改变了局面，可以点链接看看他给的论据。

#幻觉 #推理模型

Andrew Curran@AndrewCurran_原文

10月7日

论文 Agent 与开发者10:00

多智能体LLM结合RAG优化甲亢入院记录

用多智能体加RAG写甲亢病历，能把事实幻觉压得很低，做医疗文本生成的可以看看。

#LLM #RAG #智能体 #医疗AI

npj Digital Medicine@Gang Chen原文

10月6日

产品 Agent 与开发者10:14

微软 Word Copilot 新增引用功能，回复附带来源链接可溯源查证

Word 里的 Copilot 现在会给出处链接了，点一下就能跳回原文核对，编造来源这事儿总算有办法查了。

#Copilot #微软 #Word #幻觉

IT之家原文

9月23日

论文 Agent 与开发者09:20

REVE：复用编码器状态为大音频语言模型修正幻觉

给模型生成的声音事件描述做事实核查，不用再跑一遍音频编码，延迟只有 CED-Base 的十八分之一，音频方向的研究者可以看看。

#音频语言模型 #幻觉 #AudioSet #REVE

arXiv cs.AI@Hongjin Song 等 7 人原文

8月18日

行业03:43

Gary Marcus：AI不遵循指令被忽视，LLM架构威胁安全

Gary Marcus直接点出AI不听指令比幻觉更危险，还引用了越具体越不听话的现象。想了解AI安全风险，看这条。

#Gary Marcus #AI安全 #指令遵循 #幻觉

Gary Marcus@GaryMarcus原文

8月11日

模型中美对照07:36

Claude Haiku 幻觉问题遭吐槽，性能被 GPT-5.6-Luna 超越

Simon Willison 说 Claude Haiku 幻觉多，不如 GPT-5.6-Luna，还会污染 Claude Code 抓网页，用起来要小心。

#Claude Haiku #GPT-5.6-Luna #Claude Code #幻觉

官方账号Simon Willison@simonw原文

7月31日

论文11:46

生成式AI在伊斯兰研究中的可靠性评估：幻觉与来源保真度

想拿AI问伊斯兰教法？这篇论文用50个问题实测6款AI，看它们怎么编引用、怎么处理学派分歧。

#生成式AI #幻觉 #伊斯兰研究 #古兰经

arXiv cs.AI@Muhammad Sajjad Akbar原文

7月14日

模型中美对照02:30

Grok-4.5 Agent Arena排名第13，幻觉指标位列第4

xAI的Grok-4.5在Agent Arena进步明显，幻觉控制做到第4，任务成功提升近7%，适合关注智能体性能的朋友。

#Grok-4.5 #Agent Arena #智能体 #基准测试

lmarena.ai@lmarena_ai原文

6月26日

论文多源确认10:40

Hallucination in World Models is Predictable and Preventable

这篇论文用具体数据和实验证明世界模型的幻觉本质是数据覆盖问题，还给出了实用的检测和缓解方法。

#MMBench2 #世界模型 #幻觉 #数据覆盖

事件专题

arXiv cs.LG@Nicklas Hansen, Xiaolong Wang原文

论文精选04:42

LLM文档问答幻觉率研究：最佳模型在32K上下文仍有1.19%编造

别以为用文档就能让LLM老老实实回答，1.19%的幻觉率也是定时炸弹，尤其长上下文风险更高。

#LLM #幻觉 #文档问答 #上下文长度

Gary Marcus@GaryMarcus原文

技巧 Agent 与开发者精选00:36

RAG评估陷阱：单一平均分可能掩盖幻觉，试试声明级评估

如果你在用RAG做生产系统，这篇讲透了为什么平均分不靠谱，还给了按声明颗粒度和问题类型精准监测的方法，连Milvus怎么分桶都说了，很实用。

#RAG #Milvus #评估 #幻觉

Milvus@milvusio原文

6月25日

行业22:22

保险公司用生成式AI做灾难建模，但幻觉风险犹存

保险公司用生成式AI做灾害建模，能补历史数据缺漏，但小心AI幻觉和销售套路，实际效果还得看验证。

#保险公司 #生成式AI #灾难建模 #幻觉

官方账号Decoder@Maximilian Schreiner原文

6月16日

论文10:41

家庭真相：利用模型家族中的继承真实头增强上下文真实性

这篇论文挺有意思，发现模型家族里真实头会继承，搞了个TruthProbe来减少幻觉，效果不错，适合研究模型可解释性和幻觉问题的人看。

#TruthProbe #Vicuna #Qwen2.5 #多模态

arXiv cs.LG@Miso Choi 等 6 人原文

6月10日

论文精选72°11:31

PhantomBench：首个大规模“不存在概念”基准，揭示语言模型幻觉率高达86.7%

做AI安全或模型评估的团队，这个基准直接戳中了当前模型最致命的弱点——它们连“不存在的东西”都分不清，建议用PhantomBench测测自家模型。

#幻觉 #基准测试 #模型评估 #知识边界

arXiv cs.AI@Haeji Jung, Hila Gonen原文

5月29日

论文10:13

Gary Marcus：LLM 的幻觉源于概率重构，非训练数据

Marcus 戳破了“幻觉只靠清洗数据就能解决”的迷思，做 AI 安全或法律 AI 的团队值得深思——模型概率本质才是硬伤。

#LLM #幻觉 #概率重构 #Gary Marcus

Gary Marcus@GaryMarcus原文

5月26日

论文72°06:36

Google 新论文：LLM 应停止假装确定，诚实表达不确定性

这篇论文点破了 LLM 幻觉的核心矛盾——不是知识不够，而是不知道什么时候该说“不确定”。做 AI 产品、智能体或对话系统的团队，看完会对“诚实比正确更重要”有更深理解，建议直接读原文。

#LLM #幻觉 #不确定性 #元认知

rohanpaul_ai@rohanpaul_ai原文

5月15日

产品22:35

谷歌AI健身教练捏造8.4公里跑步记录，反怪用户漏记

AI健康教练的幻觉问题直接挑战付费订阅价值，健身手环用户和AI健康应用开发者值得关注——谷歌能否在正式上线前修复这一致命缺陷。

#谷歌 #Fitbit Air #AI健康教练 #幻觉

IT之家原文

5月13日

行业21:36

纽约时报编辑注：AI 生成引文被误当作真实言论

新闻编辑室和内容创作者必须警惕 AI 工具生成虚假引文的风险——纽约时报的这次失误是活生生的教训，做事实核查的团队建议仔细看。

#AI 伦理 #幻觉 #新闻业 #事实核查

官方账号Simon Willison’s Weblog原文