全部动态

AI 相关资讯全量信息流 · 300 条
5月21日
5月20日
5月19日
论文精选11:10
对称性兼容优化器设计原则:嵌入层、LM头、SwiGLU MLP与MoE路由器

这篇论文解决了深度学习优化器忽视架构对称性的根本问题,做大规模语言模型预训练的团队值得关注——它可能成为替代AdamW的新范式,实验显示能稳定提升损失和训练稳定性。

arXiv cs.LG@Tim Tsz-Kit Lau, Weijie Su原文
5月18日
论文精选10:31
层等价性测试方法不同,结果天差地别:Qwen3-8B和Llama-3.1-8B案例

做模型压缩或剪枝的团队,如果只用一种等价性测试就决定删层,可能会踩坑——这篇论文用Qwen3-8B和Llama-3.1-8B的对比告诉你,测试方法选错,安全剪枝的层数能差好几倍。建议在剪枝前先跑一下两种swap-KL诊断。

arXiv cs.LG@Gabriel Garcia原文
5月15日
5月14日
论文精选13:27
人格模型崩溃:微调导致大模型角色分化失控

做AI安全和对齐的研究者、模型微调工程师值得关注——这项研究用两个量化指标揭示了有害微调如何让模型角色扮演能力崩溃,比单纯看输出内容更早发现问题。建议点开看看指标计算方法。

arXiv: DeepSeek@Davi Bastos Costa, Renato Vicente原文
5月13日
5月12日
5月11日