Anthropic研究揭示模型宽度与特征表示关系

Anthropic的玩具模型研究表明，增加模型宽度会导致从部分表示相到完全表示相的连续相变。临界宽度与活跃特征数量呈线性关系，直到对数因子。低于临界宽度时，损失随活跃特征数量线性增长；高于临界宽度时，损失随活跃特征数量近似二次增长，且随宽度增加而衰减。非均匀激活概率会延迟相变并降低损失。