AITOPAI热报

视频生成

共 565 条相关 AI 资讯 · 查看话题观测
6月2日
11:11
11:11官方账号arXiv cs.AI@Jingyun Liang, Min Wei, Shikai Li, Yizeng Han, Hangjie Yuan, Lei Sun, Weihua Chen, Fan Wang
该研究提出一种无需渲染的框架，通过将3D人体网格压缩为token，直接输入DiT架构的视频扩散模型，实现精确的人体运动控制。相比依赖2D渲染引导的现有方法，该方法避免了视角依赖伪影和轨迹-姿态不匹配问题。实验表明，该框架在人体运动控制基准上表现优异，证明视频扩散模型通过网格token化能更好地理解3D结构。这项工作为3D感知视频生成提供了新思路。
论文视频生成3D人体运动控制网格token化
推荐理由：做视频生成或3D人体动画的团队终于有了不依赖渲染的精准控制方案——直接压缩3D网格token，避免2D引导的伪影问题，建议做运动控制或虚拟人应用的开发者点开看看。
原文
09:59
09:59LovartAI@lovart_ai
Lovart平台发布教程，展示如何结合OpenAI的GPT Image 2图像生成模型与Seedance 2.0视频生成工具，制作动漫风格的美食短视频。教程从生成静态美食图像开始，再通过Seedance 2.0将其转化为动态短片，实现从图片到视频的完整工作流。该方法降低了动漫风格视频创作的门槛，适合内容创作者和短视频爱好者快速产出高质量素材。Lovart作为集成平台，简化了多工具协作的流程，让用户无需编程即可完成创作。
AI产品GPT Image 2Seedance 2.0Lovart
事件专题
推荐理由：想做动漫风美食短视频但不会画图？这个教程用GPT Image 2出图+Seedance 2.0动起来，两步搞定，内容创作者可以直接抄作业。
原文
09:53
6月1日
17:51
10:31
10:31官方账号arXiv cs.AI@Ruotong Liao, Guowen Huang, Qing Cheng, Guangyao Zhai, Lei Zhang, Xun Xiao, Thomas Seidl, Daniel Cremers, Volker Tresp
TunerDiT 提出了一种无需额外训练的多事件视频生成方法，通过分析扩散变换器（DiT）的去噪轨迹，发现文本条件从全局布局到细节的转变点。该方法包含两个关键组件：事件分区掩码（强制事件边界并允许过渡带）和跨事件提示融合（注入相邻事件语义进行后期细化）。在自建的多事件基准测试 Meve 上，TunerDiT 在 8 个指标上达到最优，并能在视频一致性和事件分离之间进行可调权衡。随着事件数量增加，文本对齐性能提升，显示出扩展潜力。
论文扩散模型视频生成多事件生成
推荐理由：做视频生成的研究者或开发者，如果被长视频多事件生成的一致性困扰，TunerDiT 的零训练方案直接可用，值得关注其事件边界控制与提示融合的设计。
原文
10:29
10:29官方账号arXiv cs.AI@Jiazheng Xing, Hangjie Yuan, Lingling Cai, Xinyu Liu, Yujie Wei, Fei Du, Hai Ci, Tao Feng, Jiasheng Tang, Weihua Chen, Fan Wang, Yong Liu
Lumos-Nexus 是一种训练高效的统一视频生成框架，解决了将高保真生成器集成到统一训练循环中计算成本过高的问题。它采用两阶段设计：训练时仅用轻量级生成器与理解模块对齐，学习推理驱动的语义控制；推理时通过统一渐进频率桥接（UPFB）在共享潜在空间中将生成任务逐步交给高容量预训练生成器，实现从粗到细的优化，生成高保真视频而不牺牲推理质量。为填补推理驱动视频生成基准的空白，团队引入了 VR-Bench 评估模型将推断意图转化为连贯视频的能力。实验表明，Lumos-Nexus 在 VBench 上显著提升了视觉真实感和时间连贯性，在 VR-Bench 上展示了强大的推理生成性能。代码和模型已开源。
论文视频生成统一模型推理驱动
推荐理由：视频生成领域终于有了兼顾推理能力和视觉保真度的方案，做视频理解与生成统一模型的团队可以直接参考其两阶段设计，省去大量训练成本。
原文
08:33
08:33berryxia@berryxia
一条推文指出，许多每月付费的AI工具、Bloomberg终端、交易系统等，本质是资本维持稳定收入的机制。GitHub上已有10个开源项目可替代这些付费产品，涵盖对冲基金、交易系统、金融终端、AI聊天、视频工作室、虚拟主播、广告生成、邮件管理、浏览器和视频制作。这些项目免费、功能强大、支持自托管，让用户完全掌握数据和控制权。例如，Fincept Terminal可替代Bloomberg，LibreChat可自托管多模型AI聊天，Open Higgsfield AI集成多种图像和视频生成模型。
AI产品开源/仓库金融工具AI聊天
推荐理由：想省掉每月订阅费、又不想被厂商锁定的开发者和金融从业者，这10个开源项目直接给你机构级工具，建议收藏试玩。
原文
5月31日
23:09
16:38
09:03
09:03lmarena.ai@lmarena_ai
72°
xAI 的 Grok-Imagine-Video-1.5-Preview 在图像转视频竞技场中排名第一，相比前代 Grok-Imagine-Video 提升了 52 分，超越了 Seedance-2.0 和 HappyHorse 等顶级模型。该模型支持 720p 分辨率输出，标志着 xAI 在视频生成领域的重大突破。这一进展表明 AI 视频生成竞争正加速，xAI 已跻身第一梯队。
AI模型xAIGrok视频生成
推荐理由：做视频生成或关注多模态模型的开发者值得关注——Grok 视频模型首次超越主流竞品，意味着又多了一个高性价比选择，建议去竞技场实测对比效果。
原文
5月30日
11:04
10:12
10:12lmarena.ai@lmarena_ai
精选78°
阿里Wan团队开发的Wan2.7-t2v-2026-04-25模型在Text-to-Video Arena中排名第三。该模型不仅是一个视频生成器，更是一套导演级工具套件，支持通过文本、图像、音频和视频进行多模态控制，可定制多达5个角色参考输入和语音配置，并具备视频编辑、克隆、重风格化、续写等全栈创作能力。在视觉保真度、运动稳定性和提示遵循方面有持续改进。这一成绩标志着中国团队在AI视频生成领域的重要突破。
AI产品视频生成多模态控制阿里Wan
推荐理由：阿里Wan2.7把视频生成从单一工具升级为导演套件，做视频创作、影视后期或AI内容生产的团队可以直接拿来用，多模态控制和角色定制功能尤其实用。
原文
02:18
00:08
5月29日
11:42
11:07
11:07官方账号arXiv cs.AI@Chong Bao, Shichen Liu, Lijun Yu, David Futschik, Stylianos Moschoglou, Shefali Srivastava, Ziqian Bai, Feitong Tan, Guofeng Zhang, Zhaopeng Cui, Sean Fanello, Yinda Zhang
精选
浙江大学团队提出 Archon，一个完全预训练的统一多模态模型，用于生成包含文本、音频、动作和视觉内容的完整数字人。该模型通过模态专用分词器和原生自回归架构，统一了七种模态，并在 72 个任务上预训练以建模联合分布。为解决高保真对话视频中的 token 爆炸问题，Archon 引入了一种内存高效的语义视频重参数化方法，实现 4 倍 token 压缩同时保留精细动态，并配合语义驱动的视频扩散解码器。此外，提出的“模态思考”机制将模糊的跨模态任务分解为逐步推理，提升了生成保真度和可控性。实验表明，Archon 在多种数字人生成任务上达到或超越现有水平。
论文数字人多模态模型视频生成
推荐理由：做数字人、虚拟角色或交互式 AI 的团队终于有了一个统一框架——Archon 把文本、音频、动作、视频全打通了，不用再拼凑多个模型，做沉浸式体验的开发者可以直接参考其架构。
原文
5月28日
11:00
10:04
10:04官方账号Runway ML@runwayml
Runway 推出了 MCP（Model Context Protocol）服务，允许用户将 Runway 的图像和视频生成能力直接集成到 Claude、ChatGPT、Cursor、Replit 等主流 AI 平台中。该服务支持 Gen-4.5、Seedance 2.0、GPT Images 2.0、Kling 等先进模型，用户无需切换工具即可在原有工作流中生成高质量内容。连接过程仅需数秒，大幅降低了 AI 视频创作的门槛。此举标志着 Runway 从独立工具向平台化生态的转变，为开发者和创作者提供了更灵活的内容生成方式。
AI产品RunwayMCP/工具视频生成
事件专题
推荐理由：Runway MCP 让视频生成能力直接嵌入你日常使用的 AI 助手和开发环境，做内容创作或 AI 应用的团队可以秒级接入，省去切换工具的麻烦，值得一试。
原文
09:50
03:53
5月27日
10:52
08:20
08:20岚叔@lufzzliz
精选
本文介绍了如何将 Gemini Omni 用作视频导演工具，核心思路是从描述画面升级为控制系统。Google AI 提供了 5 种 Prompt 方法：调用真实世界知识、控制文字渲染、像摄影师一样写镜头、局部迭代修改、动态修改动作。文章给出了具体的 Prompt 骨架和镜头词库，帮助用户像导演一样控制世界知识、主体动作、镜头语言、文字系统、时间节奏和迭代约束。这种方法让视频生成更精准、可迭代，适合内容创作者和视频制作者直接使用。
AI产品Gemini Omni视频生成Prompt 工程
推荐理由：做视频生成的内容创作者终于不用靠堆砌形容词碰运气了——这套导演式 Prompt 方法让你像控制分镜一样控制输出，建议直接套用文中的镜头词库和骨架试试。
原文
5月26日
22:56
22:56官方账号NVIDIA AI@NVIDIAAI
NVIDIA AI 官方账号发布了一段由 Julia Turc 制作的关于“世界模型”的讲解视频。视频澄清了世界模型与视频生成的区别，探讨了其超越“AI 垃圾”的潜力，并幽默回应了 Yann LeCun 的争议。该视频旨在帮助观众理解这一当前 AI 领域最热门但最模糊的概念之一。
AI模型世界模型NVIDIA视频生成
事件专题
推荐理由：世界模型是当前 AI 最模糊的概念之一，这个视频帮你理清它与视频生成的区别，想搞懂 AI 前沿方向的建议点开。
原文
12:23
12:23官方账号arXiv cs.LG@Ali Rouzbayani, Bidhan Roy, Marcos Villagra, Zhiying Jiang
精选72°
巴黎 2.0 是首个通过去中心化计算预训练的视频生成模型，解决了去中心化训练中时间连贯视频生成的难题。相比相同算力预算下的集中式模型，它在低分辨率文本到视频任务中将 FVD 从 561.04 降至 279.01，提升约 2 倍，同时提高了 CLIP 文本-视频相似度和美学评分。该模型基于巴黎 1.0 的去中心化扩散模型架构，无需单一 GPU 集群即可完成训练。这项工作证明了去中心化训练在视频生成领域的可行性，为降低大规模模型训练门槛提供了新路径。
论文视频生成去中心化训练扩散模型
推荐理由：去中心化训练让视频生成模型不再依赖昂贵 GPU 集群，做视频生成或分布式训练的团队可以关注这个开源方案，直接降低算力成本。
原文
11:34
11:34IT之家（博客/媒体）
76°
小米汽车发布了全新的世界模型框架 Xiaomi Auto World Model，首次将三维重建与视频生成深度耦合，打破了行业长期将两者独立的技术路线。该框架通过重建提供几何锚点、生成填补未观测场景，实现了高稳定性、高一致性和高真实性，在 Waymo、nuScenes 等主流基准测试中全面取得 SOTA。目前该模型已在小米汽车的合成数据生成、仿真测试和智能座舱辅助驾驶学堂三大场景落地，交付了超过 10 万 clips 高质量合成数据。这一技术路径有望推动辅助驾驶从“场景感知”向“认知推演”的高阶形态跃迁。
AI产品世界模型自动驾驶三维重建
推荐理由：小米汽车把世界模型的两条路线拧成一股绳，解决了重建缺想象、生成易漂移的行业难题。做自动驾驶感知或仿真的团队，建议看看他们的论文和技术主页，或许能启发新的技术路径。
原文
5月25日
11:47
11:47美团技术团队@美团技术团队
美团开源了 LongCat-Video-Avatar 1.5，这是一款从 SOTA 迈向商业级应用的数字人视频模型。它在唇形同步、物理合理性、长视频稳定性、多人互动和高效推理上实现了全面提升，能稳定输出高质量内容。该模型解决了数字人视频在复杂商业场景中不自然、不稳定、成本高的问题，让数字人从实验室走向真实应用。开源版本可供开发者直接使用，推动数字人视频生成技术的普及。
AI模型数字人视频生成开源/仓库
推荐理由：做数字人视频生成或虚拟主播的团队，终于有了一个能直接商用的开源模型——唇形同步和长视频稳定性提升明显，建议试试 LongCat 1.5 来降低制作成本。
原文
5月24日
16:36
5月23日
04:21
5月22日
14:37
14:37IT之家（博客/媒体）
76°
美团技术团队正式开源了数字人视频生成模型 LongCat-Video-Avatar 1.5，该版本在唇形同步、物理合理性、长视频稳定性、多人互动及推理效率方面全面升级。模型采用 DMD 蒸馏技术，将生成步数从 50 步压缩至 8 步，推理效率提升约 15 倍，生成 10 秒视频仅需约 1 分钟。在用户偏好对比中，该模型相比 Kling Avatar 2.0 胜率为 65.9%，相比 OmniHuman-1.5 胜率为 61.1%，相比 HeyGen 胜率为 54.3%。美团表示，数字人视频生成正从展示效果走向真实使用，希望开源能成为可验证、可改进、可共建的技术基座。
AI模型数字人视频生成开源/仓库
推荐理由：数字人视频生成终于从演示走向了可商用——10 秒视频 1 分钟生成，效率提升 15 倍，做虚拟主播、在线教育、客服视频的团队可以直接拿来用，省去大量渲染时间。
原文
12:29
12:29官方一手pandaily@contact@pandaily.com (Pandaily)
oiioii 是一个新兴的视频生成平台，提供超过 150 种视频动画风格，旨在满足创作者对特定艺术风格的控制需求。该平台在视频智能体时代推出，强调风格多样性和定制化，帮助用户从文本或图像生成具有独特视觉效果的视频。这一举措反映了 AI 视频生成领域从通用模型向专业化、风格化方向发展的趋势。
AI产品视频生成动画风格创作者工具
推荐理由：对于追求视频艺术风格多样性的创作者，oiioii 提供了超过 150 种动画风格，解决了通用模型风格单一的问题。做短视频、广告或动画的团队可以直接尝试，找到适合项目的独特视觉语言。
原文
07:53
02:34
5月21日
15:20
15:14
11:41
11:41官方账号快手可灵 Kling@Kling_AI
Kling AI 在戛纳电影节上展示了其参与的全 AI 生成电影项目 RAPHAEL。该片由 Mateo AI Studio 与韩国 MBC C&I 的 AI 内容实验室合作开发，计划于 2026 年院线上映。项目全程使用 Kling AI 的视频模型来生成独特视觉效果，旨在证明纯 AI 电影制作的工业可行性，并推动 AI 原生影院电影的新趋势。
AI产品Kling AIAI 电影视频生成
推荐理由：这是 AI 视频生成从短片走向长片院线电影的关键一步，做影视制作、AI 内容创作的团队值得关注——它展示了 AI 工具在工业级项目中的实际落地能力。
原文
08:01
08:01官方账号Andrew Ng@AndrewYNg
Andrew Ng 宣布与 Google Cloud 合作推出新课程，教授如何构建能生成图像和视频的 AI 智能体。课程重点在于让智能体自我评估输出并迭代改进质量，涵盖三种评估技术：图像-文本相似度评分、LLM 裁判按品牌一致性等自定义标准评分、以及结构化评分表。学员将学习图像和视频提示工程，构建将品牌指南转化为 UI 模型的图像智能体，以及规划多场景解说视频并同步音频的视频智能体。该课程面向希望探索 AI 智能体在视觉内容生成领域应用的开发者。
AI产品智能体图像生成视频生成
推荐理由：Andrew Ng 的课程一向实用，这次聚焦图像/视频生成智能体这个少有人深入的方向，做多模态或内容生成的开发者可以直接学起来，掌握让智能体自我迭代的关键技巧。
原文
08:00
08:00
08:00HeyGen@HeyGen_Official
83°
HeyGen 发布了其最高质量的 AI 虚拟形象模型 Avatar V API，定价为每秒 0.05 美元。该模型在跨场景说话头像生成任务中，与 Veo 3.1、Kling O3 Pro、OmniHuman 1.5 和 Seedance 2.0 进行了基准测试，并在所有类别中胜出。HeyGen 同时发布了研究论文和 API 接口，供开发者直接使用。这标志着 AI 虚拟形象生成在质量和成本上迈出了重要一步，尤其适合需要高保真数字人视频的应用场景。
AI产品虚拟形象API数字人
推荐理由：HeyGen 的 Avatar V 在跨场景说话头像生成上全面领先竞品，做数字人、虚拟主播或视频生成的开发者可以直接用 API 接入，成本可控且效果顶级。
原文
08:00
08:00Sundar Pichai@sundarpichai
83°
Google CEO Sundar Pichai 宣布推出 Gemini Omni，这是一个不仅能生成逼真场景，还能推理下一步该发生什么的视频生成模型。它结合了物理直觉与 Gemini 对历史、科学和文化背景的知识，使生成的视频更具逻辑性和上下文相关性。该功能今日起面向全球 Google AI Plus、Pro 和 Ultra 订阅用户，通过 Gemini 应用、Google Flow 以及 YouTube Shorts 逐步开放。这一进展标志着 AI 视频生成从“看起来真实”向“理解并预测动态”迈出了重要一步。
AI产品Gemini Omni视频生成物理推理
推荐理由：做视频生成或 AI 内容创作的团队，终于有了一个能理解物理规律和文化背景的模型——生成的视频不再只是视觉逼真，而是逻辑连贯。建议订阅 Google AI 的用户立即体验。
原文
07:59
07:59官方一手歸藏(guizang.ai)@op7418
藏师傅已完成一个通过前端生成讲解视频的Skill，但希望优化效果、提高工程化并降低Token用量。他让Claude Code分析了一个40秒视频案例，发现总消耗145万Token，其中输入占比极高，输出仅占0.7%。视频组合和Skills消耗最大，但使用Claude Code时有92%缓存，实际成本可控。该方案结合了PPT Skill（美学、版式、动效）、HyperFrames（时间线、渲染、字幕）、Listenhub Skill（配音）和即梦CLI（演示和B-roll），展示了多工具协同的AI视频生成流程。
AI产品Claude Code视频生成Token优化
推荐理由：做AI视频生成或工程化优化的开发者，可以看看藏师傅如何用Claude Code分析Token消耗并针对性优化，直接复用他的缓存策略能省不少成本。
原文