VQ-VAE

general · 首次出现 2026-06-08 · 最近出现 2026-10-27 · 累计提及 5

综述

VQ-VAE(Vector Quantised Variational Autoencoder,向量量化变分自编码器)是一种将连续数据编码为离散码本的生成模型,由 DeepMind 于 2017 年提出。它通过最近邻查找把神经网络隐层映射到有限向量集合,使自编码器输出的潜变量是离散 token,从而能与自回归语言模型等方法直接衔接。这一离散化思路后来支撑了 DALL·E、VQGAN、各类语音与视频编解码模型,成为多模态生成中的基础设施之一。当前 VQ-VAE 的研究重心已从图像生成转向更广泛的信号类型与应用场景。

VQ-VAE 近期进展

  • 在医疗信号方向,QECGBERT:用 VQ-VAE 波形分词构建心电基础模型 将心电图波形先经 VQ-VAE 离散化为 token 序列,再用 BERT 类架构做大规模预训练,验证了离散码本在生理信号上同样能学到可复用的表征,把基础模型范式从文本、图像扩展到时序医学数据。
  • 在自动驾驶方向,COMPACT-VA:面向长上下文自动驾驶的规划对齐令牌压缩 关注的则是离散 token 化带来的代价:长时序场景下 token 数量膨胀、推理成本高。该工作提出与规划目标对齐的压缩策略,在压缩码本序列的同时保留对决策有用的信息。
  • 在音频方向,GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding 尝试突破传统 VQ 码本的结构限制,用高斯泼溅(Gaussian Splatting)形式的瓶颈替代向量量化,探索离散化以外另一种高效压缩音频表征的路径。
  • 当前焦点与观察点

    从这三项工作可以看出,VQ-VAE 的讨论已经从“能否离散化”转向“如何离散得更好”。争议与改进集中在几个方面:一是码本利用问题,传统 VQ 存在码本坍缩和量化误差,近期出现了有限标量量化(FSQ)等替代方案;二是 token 压缩与效率,长上下文任务中离散序列的长度直接决定计算成本,规划对齐、高斯瓶颈等结构化改进都是针对这一点的回应;三是应用边界的扩展,从图像到音频、心电等连续信号,码本作为通用中间表示的角色越来越明确。

    对关注该方向的读者,值得观察的信号包括:VQ-VAE 系列离散 token 化与扩散模型等连续表征方法在多模态生成中的竞争态势,以及它在医疗时序数据上能否达到临床可用的预训练效果。

    相关报道

    3 条在档