Y Combinator 团队用《我的世界》测试 AI 智能体集群:GPT 对战 Claude 六胜一负
研究者在《我的世界》测试 AI 智能体集群:协作容易官僚化,对战 GPT 胜率更高
把上百个智能体扔进《我的世界》打架建城,结果 GPT 蜂群 7 局赢了 Claude 6 局,官僚化那段太好笑了
Y Combinator 与 Olam Labs 的研究人员在《我的世界》中测试智能体集群,基于 Mindcraft 仓库和 Mineflayer 脚本工具。Civ50 测试中 50 个 GPT-6.1 Sol 智能体在三小时内未能建成繁荣文明,出现官僚化倾向,四个智能体曾花 11 分钟任命一名“唯一肥料操作员”。对抗测试里,10 个 GPT-6.1 Sol 智能体对阵 10 个 Claude Opus 5.5 智能体,GPT 进攻更激进,Claude 偏防守。在 Mindustry 塔防模组的七局对战中,GPT 智能体以六胜一负击败 Claude 智能体。项目已开源,可自行调整参数复现。
研究者在《我的世界》测试 AI 智能体集群:协作容易官僚化,对战 GPT 胜率更高
IT之家 11 月 2 日消息,Y Combinator 与 Olam Labs 的人工智能研究人员近期在游戏场景中测试了智能体集群。研究选用《我的世界》及其各类玩法作为试验沙盒,让上百个智能体在其中协作或者相互对抗。研究思路是,借助游戏内的协作与冲突,帮助人们理解现实世界里那些引发广泛关注的智能体事件。 IT之家注意到,这项研究有助于厘清近期各类智能体集群事件里的利弊得失,方便技术开发者对相关能力进行优化。博文提到了两个反差鲜明的案例:一个是上千个智能体组成集群,“近期攻克了数百道公开数学难题”;另一个则是 OpenAI 与 Hugging Face 之间那起“风险极高”的事件。本次研究建立在以往的成果与框架之上,主要依托 Mindcraft 等代码仓库以及 Mineflayer 脚本工具。 《我的世界》中的多智能体互动 第一项智能体集群测试是简单的协作任务。在该测试环节,研究人员安排了 50 个智能体,要求它们在三小时内搭建起繁荣的文明群落。本次测试使用了 50 个 GPT-6.1 Sol 智能体,没有调用 Claude 系列智能体。 这场名为 Civ50 的测试,最值得关注的结论或许是:这支由 50 个智能体组成的群落始终没能真正发展壮大。第一个夜晚,大量智能体被僵尸击杀(但该惩罚机制影响较轻),研究记录显示,“许多一开始定下的宏大任务都被搁置”。 在此之后,这群殖民者只能小心翼翼维持生存,还出现了类似官僚化的行为倾向。文中举了一个例子:“四个智能体花了 11 分钟,专门任命一名‘唯一肥料操作员’,而任务仅仅是为一块小麦田使用一份骨粉。”研究人员表示,这类智能体集群的行为模式,和他们在编程智能体项目中观察到的现象十分相似。 接下来,研究人员安排智能体集群开展对抗测试。首先选用起床战争模式,这是一种团队 PvP 玩法,核心是摧毁对方基地、守住己方基地。测试分组为 10 个 GPT-6.1 Sol 智能体对阵 10 个 Claude Opus 5.5 智能体。 研究人员记录:“GPT 智能体构思出的进攻策略更加激进、复杂,Claude 智能体则偏向防守。”两支队伍处理问题的方式差异也很有意思。“方块破坏功能出现工具故障,GPT 智能体完成问题诊断并且共享临时解决办法;多名 Claude 智能体直接判定无法执行破坏操作。” 最后,研究团队在 Mindustry 中开展测试,这是一款搭载塔防玩法的轻量化即时战略模组,运行于《我的世界》之内。七局对战里,GPT 智能体以六胜一负击败 Claude 智能体,对这套 OpenAI 开发的智能体来说是不错的成绩。研究人员总结,GPT 智能体更像一个统一的蜂群,Claude 智能体则设有单一领导者,采用偏向民主的决策流程。在 Mindustry 这个场景下,蜂群模式更容易形成稳定取胜的策略。 这套智能体集群项目已经开源,如果感兴趣,你可以自行调整参数、复现测试。原文博文末尾列出了一些开放性问题,可供实操探索,也给出后续研究方向。比如,可以在《我的世界》中搭配不同模型组合、调整智能体集群规模,有望得出有价值的结论。 参考资料: https://labs.ycombinator.com/projects/games/index.html
- kimmonismus10-31 15:24原文