Residual(残差)是深度学习中的关键架构设计，通过直接连接网络层输入与输出，解决了深度网络训练中的梯度消失问题。2023年以来，残差技术持续在AI领域展现出强大的应用潜力，特别是在扩散模型、向量检索和表示学习等前沿方向。
Residual 近期进展
几何感知双曲残差量化：改进离散表示的层级编码 提出了一种新型残差量化方法，在保持计算效率的同时显著提升了离散表示的层级编码能力。该研究通过几何感知的双曲空间映射，使残差连接能够更好地处理高维数据的非线性关系。论文提出基于AddUNet的残差全速率架构用于任务导向表示学习 介绍了一种创新架构，将残差连接与全速率编码相结合，在125B参数规模的大型模型上表现出色。该架构通过特殊的残差路径设计，有效缓解了深层网络中的信息丢失问题。
ORCA：对齐文本与视觉表示，修复扩散模型组合性失败 利用残差机制解决了扩散模型在处理多模态数据时的组合性失败问题。研究团队通过精心设计的残差连接，使模型能够更准确地捕捉文本与视觉表示之间的复杂对应关系。