研究者用新模型复测旧结论:幻觉与偏见下降,谄媚问题仍在
你印象里 LLM 爱瞎编引用、偏见严重的结论可能过时了,这项复现研究用新模型重测了幻觉、偏见和谄媚,结果挺出乎意料。
Ethan Mollick 转发了一项大规模复现研究,用新模型重新检验过去关于 LLM 的经典结论。结果显示新一代模型的幻觉率下降,编造引用的现象基本消失,刻板偏见也随之减少。但模型依然存在谄媚倾向,且在政治立场测试中整体偏左。Mollick 指出很多流传的 LLM 旧结论已过时,需要以新模型的数据为准。
This is a fantastic idea - a mass attempted replication of old findings of LLMs with new models. Much conventional wisdom is outdated.
Recent models no longer invent citations and both hallucination rates & stereotyping has dropped. But they are still sycophantic & lean left. https://t.co/sPZZDFYAf4