Graph Machine 相关 AI 资讯 · AITOP · AI热报

9月3日

11:53

11:53

官方账号arXiv cs.LG@Lintai Hou

Graph Machine (GM) 是一种保持 O(n) 大小状态的架构，通过稀疏动态路由访问状态。研究人员将 Qwen3-0.6B 中 75% 的密集 Transformer 层替换为 GM 稀疏层，在 157 亿 tokens 上从头预训练。每层每 KV 头仅检索 4096 个 token 中的 2 个时，损失仅略微下降；检索 4 个时，最佳模型损失略有改善。

论文 Graph Machine Qwen3-0.6B Transformer

推荐理由：Graph Machine 用边对象替代传统状态，在 Qwen3-0.6B 上预训练时，稀疏层仅需少量检索就能保持性能。