黑盒模型相关 AI 资讯 · AITOP · AI热报

9月3日

12:14

12:14

官方账号arXiv cs.AI@Urja Pawar, Rajitha Ramanayake, Owen O'Neill, Nabeel Kemal, Abhishek Mandal, Houssem Chatbri, Christopher Martin

精选73°

研究人员提出两种互补信号检测黑盒大模型幻觉：语义熵和token不确定性。他们开发了TopK方法聚合token信号，CoCoA方法结合目标响应不确定性和语义相似性，以及Gated和Stacked两种监督方法。研究在7个基准上测试了4个语言模型，Stacked方法在近半数情况下表现最佳，TopK和CoCoA无需监督标签也具竞争力。

论文 LLMs 幻觉检测语义熵

推荐理由：这篇论文教你如何检测黑盒大模型的幻觉，有4种方法可选，无需监督标签也能用。

6月9日

09:37

09:37

官方账号arXiv cs.AI@Minyoung Hwang, Seokhyun Lee, Changhee Lee

精选

本文提出一种新方法，用于解释黑盒深度语言模型的预测决策。该方法通过选择一小部分信息丰富的输入单词来生成解释，解决了现有方法在推理效率、黑盒兼容性和语言结构可解释性三方面的不足。研究将单词选择建模为摊销优化问题，使用REINFORCE策略梯度进行训练，无需访问模型内部状态。同时，通过整合图结构知识，确保所选单词子集在语言上连贯且符合人类直觉。实验表明，该方法在多个数据集和模型架构上优于传统黑盒方法和梯度基方法。

论文可解释性黑盒模型单词选择

推荐理由：做NLP模型可解释性研究的团队，终于有了一个兼顾效率、黑盒兼容和语言直觉的方案——无需模型内部信息，直接输出可理解的单词子集解释，值得一试。