做 AI 可解释性研究的人会直接受益——这篇论文揭示了 transcoder 可能产生虚假特征的根本原因,看完会对现有方法的可靠性有更清醒的认识。建议所有用稀疏自编码器做模型分析的人点开。
全部动态
AI 相关资讯全量信息流 · 70 条
5月13日
机械论(不)忠实性的玩具模型:transcoder 出错时
干扰权重的玩具模型:深入理解Transformer内部机制
Anthropic 把 Transformer 内部的信息干扰机制拆解清楚了,做模型可解释性和架构优化的研究者可以直接参考这个玩具模型来验证自己的假设。
Anthropic 用 LLM 自动化对齐研究:可扩展监督新方案
Anthropic 用 LLM 自动化对齐研究,解决了可扩展监督的人力瓶颈,做 AI 安全和对齐的团队值得关注,可以直接参考其方法加速自己的研究。
Anthropic 发布 BioMysteryBench 评估 Claude 生物信息学研究能力
生物信息学研究者或计算生物学家可以借此了解 Claude 在真实科研问题上的表现,评估其作为辅助工具的实用性。
5月11日
NVIDIA与SakanaAI合作:稀疏Transformer内核提速20%+
该工作展示了硬件厂商与AI研究机构在底层算子优化上的高效协作,直接提升了大模型训练/推理效率,对部署大规模Transformer模型的企业而言有显著成本降低潜力。
论文22:16
MiA-Signature:全局激活近似提升长文本理解这项研究提供了一种轻量级思路,通过全局激活的近似来解决长文本中注意力稀疏的问题,对希望在不增加显著计算开销下提升长文本理解能力的团队有参考价值。
Apple 提出 TIDE:每层都知 token 上下文
TIDE 是对 transformer 架构的改进,可能提高模型层间的信息流动效率,尤其在长序列或复杂上下文任务中,但尚需更多评估验证其实际收益。