斯坦福用 20 个新模型复测 50 项 LLM 结论：44% 已失效
精选理由
斯坦福拿 20 个新模型复测 50 条 LLM 常识，近一半已失效。做模型选型或写论文前翻翻这篇，能少踩不少过时结论。
斯坦福研究者用 20 个新模型重新测试 50 项被广泛引用的 LLM 研究结论，发现 44% 已失效，34% 明显减弱，仅 16% 仍然成立。编造引用、幻觉和刻板印象等问题在减少，但迎合用户偏好和政治立场偏左依然存在。研究指出结论的有效期可能只有约 15 个月，模型版本和测试日期需与结论本身一起报告。
原文 · AI Will
很多关于 LLM 的“常识”，保质期可能只有 15 个月。 斯坦福研究者用 20 个新模型，重新测试了 50 项被广泛引用的结论： 44% 已失效，34% 明显减弱，只有 16% 仍然成立。 编造引用、幻觉和刻板印象正在减少，但迎合用户和政治立场偏左依然存在。 研究 AI，模型版本和测试日期可能与结论本身同样重要 💬 2 🔄 0 ❤️ 3 👀 539 📊 2 ⚡