CLAP 相关 AI 资讯 · AITOP · AI热报

8月28日

17:29

17:29

官方账号arXiv cs.AI@Kechen Liu, Ola Shorinwa

精选73°

CLAP框架通过整合人类和机器人视频数据，实现了跨实体动作条件视频生成。该模型在DROID等挑战性环境中达到或超越现有单实体视频模型性能。CLAP支持末端执行器姿态、语言指令和潜在动作等多种动作条件空间，适用于多种机器人形态。研究团队已开源所有代码和模型。

AI模型 CLAP 视频生成物理模拟

推荐理由：CLAP让不同机器人共享物理知识，无需重新训练就能在新任务上零样本部署，比单模型更通用。

7月27日

10:58

10:58

官方账号arXiv cs.LG@Víctor Rincón Yepes

研究测试了四种预训练音频模型（AST、CLAP、BEATs-bio、BirdNET）在32种海洋哺乳动物（1754条录音）和20种鸟类叫声中恢复系统发育距离的能力。在26种鲸类中，CLAP和BEATs-bio相关系数达0.82（p<0.001），而传统MFCC特征仅0.040。在鸟类中，通用模型AST和CLAP分别达0.55和0.52，而针对鸟类训练的BirdNET和BEATs-bio仅约0.32-0.36。结果表明通用模型无需领域特定预训练即可捕捉进化信号。

论文 AST CLAP BirdNET

推荐理由：这篇论文发现，通用音频模型像CLAP、AST不用专门训练，就能从动物叫声里读出进化关系，比专用模型还准，挺反直觉的。