激活空间相关 AI 资讯 · AITOP · AI热报

9月3日

11:51

11:51

官方账号arXiv cs.LG@James Mickens

研究人员提出'语言不可读性'概念，指LLM的外部语言输出和提取的语言特征无法准确反映内部计算过程。由于LLM内部计算通过激活空间的数学运算而非直接语言表达实现，语言监控机制存在根本性局限。研究建议采用污点跟踪等不依赖语言状态的技术构建安全沙箱，以应对前沿模型可能的安全漏洞。

论文 LLM 语言不可读性 AI安全

推荐理由：这篇论文揭示了LLM安全监控的盲点，提出了不依赖语言输出的沙箱防护方案。

6月4日

11:37

11:37

官方账号arXiv cs.LG@Rishit Dagli, Abir Harrasse, Luke Zhang, Florent Draye, Amirali Abdullah, Bernhard Schölkopf, Zhijing Jin

精选

训练数据归因（TDA）旨在追溯模型预测与训练数据的关系，但传统方法依赖梯度追踪，对大型语言模型（LLM）计算成本极高。STRIDE 提出新思路：不在参数空间估计变化，而是在激活空间建模训练数据的功能影响。它通过轻量级“转向算子”模拟数据子集训练带来的行为偏移，并利用稀疏恢复技术从这些算子中分解出单个训练样本的影响。该方法在 LLM 预训练归因上达到最先进水平，且速度比此前方法快 13 倍。实验还验证了其在数据选择、数据污染检测等下游任务中的实用价值。

论文训练数据归因 LLM 稀疏恢复

推荐理由：STRIDE 解决了 LLM 训练数据归因计算成本高、依赖局部近似的痛点，做模型可解释性、数据质量分析的团队可以直接用这个新框架。