AURA 发布:音频驱动的流式数字人视频模型,支持实时低延迟生成
语音助手和虚拟主播要低延迟,现有双向扩散模型要等好几秒音频才能出画面。AURA 用滚动 KV cache 做到当前块音频一进来就开始生成,1.3B 单卡就能跑 576p 实时,5B 能到 720p。权重、30K 视频数据集全开源,做交互式数字人的开发者可以直接上手试。
语音助手和虚拟主播要低延迟,现有双向扩散模型要等好几秒音频才能出画面。AURA 用滚动 KV cache 做到当前块音频一进来就开始生成,1.3B 单卡就能跑 576p 实时,5B 能到 720p。权重、30K 视频数据集全开源,做交互式数字人的开发者可以直接上手试。