米哈游公布通用视觉语言动作模型 Gamer,可自主游玩《崩坏:星穹铁道》
米哈游公布通用视觉语言动作基础模型 Gamer,可自主游玩《崩坏:星穹铁道》等游戏
米哈游把自家游戏当训练场,做了个纯看画面、模拟键鼠操作的模型,连《崩坏:星穹铁道》主线和解谜都能自己打。延迟优化和 RL 训练细节都公开了,做游戏智能体或 GUI Agent 的开发者值得看看这套思路。
米哈游《崩坏》系列 AI 研发团队于 11 月 17 日公布通用视觉语言动作基础模型 Gamer,能够通过模拟真人键鼠操作自主游玩 3D 和 2D 游戏。模型不读取游戏内部数据、不依赖游戏专用 API,以每秒 5 帧的频率采集游戏画面,输出相当于 30 Hz 的键盘按键与鼠标移动指令,模拟真人操作过程。
技术上,团队用超过 1 万小时的跨游戏键鼠操作轨迹做持续预训练,结合稀疏思维指令微调和时序感知强化学习优化模型,并自研 Streaming-vLLM 推理引擎。在 NVIDIA H200 环境下,端到端请求延迟从 1306 毫秒降至 65.12 毫秒。经过强化学习训练的 Gamer-RL 在 40 项未接触过的小游戏任务中平均成功率达 49.7%,优于未微调的通用模型。
团队展示了 Gamer 在《崩坏:星穹铁道》中完成主线任务、场景探索和解谜的实机演示,定位为探索交互环境通用智能体的学术研究,应用方向包括游戏测试、无障碍辅助和人机交互研究。出于数据安全考虑,团队未公开任何《崩坏:星穹铁道》相关训练数据和微调后的模型权重,并明确不支持用于游戏作弊等破坏公平性的用途。
米哈游公布通用视觉语言动作基础模型 Gamer,可自主游玩《崩坏:星穹铁道》等游戏
IT之家 11 月 17 日消息,米哈游旗下《崩坏》系列 AI 研发团队现已公布通用视觉语言动作基础模型“Gamer”。该模型能够模拟真人操作方式自主游玩 3D 和 2D 游戏。 根据研究论文及项目页面公开的信息,Gamer 无需读取游戏内部数据,也不依赖游戏专用 API,而是通过每秒 5 帧(5 Hz)的频率采集游戏画面作为输入,再生成相当于 30 Hz 的原生键盘按键状态及鼠标移动指令,从而模拟真人使用键鼠操作游戏的过程。 为了解决长时间执行任务时面临的内存限制和推理延迟问题,研究团队利用超过 1 万小时的跨游戏键鼠操作轨迹进行持续预训练,并结合稀疏思维指令微调和时序感知强化学习优化模型。此外,团队还专门开发了名为“Streaming-vLLM”的推理引擎。在 NVIDIA H200 硬件环境下,该引擎将端到端请求延迟从 1306 毫秒大幅降低至 65.12 毫秒。 研究团队还展示了 Gamer 在《崩坏:星穹铁道》中执行主线任务、探索场景及完成解谜挑战的实机演示。测试数据显示,经过强化学习训练的 Gamer-RL 在 40 项此前未接触过的小游戏任务中,平均成功率达到 49.7%,表现优于未经微调的通用模型。 针对外界担忧该技术可能被用于开发游戏外挂和自动化脚本,研究团队强调,Gamer 是一项旨在探索交互环境通用智能代理的学术研究项目,潜在应用方向包括游戏测试、无障碍辅助以及人机交互研究。团队明确表示,不支持将 Gamer 用于游戏作弊、未经授权访问、利用安全漏洞,以及任何损害用户利益或破坏游戏公平性的行为。 出于数据安全方面的考虑,米哈游研究团队目前仅公开了项目早期基础预训练研究阶段使用的通用文件,并未公开任何《崩坏:星穹铁道》相关训练数据,也没有发布使用该游戏数据训练或微调后的模型权重。
本条情报归属 AITOP「模型」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Gamer、米哈游、视觉语言动作模型、智能体,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「IT之家」,经 AITOP 多维评分管线结构化提炼。