论文

将 Transformer 逐层调控建模为平均场控制问题的新论文

Mean-field Token Steering

精选理由

一篇把 Transformer 逐层传播写成平均场控制的数学论文,作者证明这等价于球面上的 Schrödinger bridge,还推广了动态 Sinkhorn 递归让求解可行,数值实验验证能精确控制 token 分布。做表示工程或可解释性研究的可以看看这套框架。

arXiv 论文(编号 2611.19163)将随机 token 穿过多层 Transformer 的过程形式化为单位球面上相互作用粒子系统的平均场控制问题,相互作用由注意力机制产生。在平均场极限下,token 群体由一个受控积分-偏微分方程演化,反馈控制作为修正向量场,引导群体在表示空间中趋向聚合配置,并在固定时间跨度(归一化的层深度)下推导出最小努力控制。作者证明受控动力学可理解为适配球面几何的平均场 Schrödinger bridge,并提出动态 Sinkhorn 递归的推广来计算一致的 token 演化。数值实验表明该方法能对 token 群体实现精确调控。这项工作把深度网络层间传播与平均场控制、Schrödinger bridge 等成熟数学工具连接起来,为理解与干预 Transformer 内部表示流动提供了理论框架。

正文

对研究表示工程(representation engineering)和模型内部干预的人来说,这套基于球面几何的 Schrödinger bridge 视角提供了一个可计算的数学框架,动态 Sinkhorn 递归的推广使求解一致 token 演化成为可能。与常见的激活干预启发式方法相比,它给出最小努力控制的最优性刻画。适合关注 AI 理论、注意力机制数学建模的研究者阅读。

原文 · arXiv cs.AI

Mean-field Token Steering

We consider stochastic token steering through a deep stack of transformer layers as a mean-field control problem for an interacting particle system on the unit sphere, where interactions arise from the attention mechanism. In the mean-field limit, the token population evolves via a controlled integro-partial differential equation where the feedback control acts as a corrective vector field guiding the population toward an aggregate configuration of tokens in the representation space. We deduce the minimum effort control to accomplish this task over a fixed time horizon interpreted as normalized layer depth. We show that the resulting controlled dynamics for the token population can be understood as a mean-field Schrödinger bridge adapted to the sphere geometry. Building on this, we propose a novel generalization of the dynamic Sinkhorn recursion to compute the consistent token evolution. Numerical experiments confirm that the proposed approach achieves exact steering of the token population.

产业坐标与信源核验

本条情报归属 AITOP「论文」核心追踪栏目。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Schrödinger bridge、Transformer、注意力机制、平均场控制,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「arXiv cs.AI」(@Md Zulfiqur Haider, Asmaa Eldesoukey, Abhishek Halder, Yongxin Chen),经 AITOP 多维评分管线结构化提炼。