Codec

general · 首次出现 2026-05-22 · 最近出现 2026-10-16 · 累计提及 26

综述

Codec(编解码器)是把音频、视频、语音等信号压缩编码、再解码还原的核心技术模块。传统上它指 H.264、Opus 这类标准化压缩方案,而在生成式 AI 浪潮下,神经 Codec(如音频离散化用的声学编解码器)正成为大模型处理多模态数据的关键基础设施。

Codec 技术近期进展

  • GS-Codec:用 Gaussian Splatting 替代量化瓶颈的神经语音编码器:该论文提出用 Gaussian Splatting 表征替代 RVQ 等传统量化环节,尝试缓解神经语音 Codec 中码本利用不足、信息损失的问题,是 Codec 架构层面较新颖的探索。
  • LACE: Layer-Wise Compression for Dynamic Frame Rate Codecs:针对动态帧率视频 Codec 提出逐层压缩方法,让编码强度随帧率变化自适应调整,指向更灵活的视频压缩方向。
  • vLLM-Omni 流式架构解析:首块音频延迟约 47 ms:vLLM 推出的多模态流式推理架构中,音频 Codec 与模型协同工作,首块音频延迟约 47 ms,说明编解码环节的效率直接影响实时语音交互体验。
  • 英伟达发布 Audex 统一模型:30B 总参数,避免多模态扩展后文本能力下滑:英伟达的 Audex 统一模型总参数达 30B,此类音频-文本统一模型普遍依赖音频 Codec 做离散化输入,Codec 的重建质量与语义保留能力成为模型上限的影响因素之一。
  • 当前焦点与观察点

    目前围绕 Codec 的讨论主要分两条线。一是传统音视频编解码的持续演进,动态帧率、更低码率下的画质保障仍是工程重点;二是神经 Codec 向大模型基础设施的转变——语音生成、歌声合成(如 LeVo 2 这类歌曲生成工作)和多模态统一模型都依赖 Codec token 作为中间表征,其“重建保真”与“语义可懂”之间的权衡成为研究热点。

    值得观察的点包括:量化方式的替代方案(如 GS-Codec 的尝试)能否走向实用,流式场景下编解码延迟的下限还能压到多少,以及随着腾讯 WAND 等AI视频与创意产品亮相(Tencent Cloud WAND亮相SF Tech Week),视频生成管线对视频 Codec 提出的新需求。整体来看,Codec 正从幕后压缩工具变为 AI 多模态链路中被重新审视的一环。

    相关报道

    10 条在档
    Codec · AI 话题观测|AI热报