Leaderboard是AI模型评测与排名的平台,通过标准化测试对各种AI模型进行性能比较和排序。近期,多个AI评测平台更新了各自的排行榜系统,为开发者和研究人员提供模型性能参考。
Leaderboard 近期进展
2024年1月,Agent Arena排行榜上线,专注于评测AI智能体在真实长程任务中的表现。Agent Arena 排行榜上线:用真实长程智能体任务评测模型
LMArena于2024年1月更新了模型竞技场排行榜,增加了新的评测维度和指标。LMArena 更新模型竞技场排行榜
Arena平台推出了改版后的排行榜总览页面,优化了用户界面和数据展示方式。Arena 推出改版后的排行榜总览页面
DeepSeek-V4.1-Flash模型近期参与Agent Arena竞赛,并在开源模型排行榜中登顶。DeepSeek V4.1 Flash 模型登顶开源模型排行榜
当前焦点与观察点
Leaderboard正在从单一指标评测向多维度综合评估转变。Agent Arena发布的Pareto前沿排行榜就是一个例证,它不仅考虑模型性能,还关注效率和成本等多方面因素。Agent Arena发布Pareto前沿排行榜
评测场景不断扩展,Text-to-Video Arena排行榜的上线标志着排行榜开始向多模态AI领域延伸。Text-to-Video Arena 排行榜上线
排行榜系统也面临新的技术挑战,如智能体记忆评测等。近期启动的智能体记忆挑战赛探索了AI模型在长期任务中的记忆能力。智能体记忆挑战赛开启
学术研究也在关注排行榜背后的技术原理。Critical-State RL研究探讨了多轮工具调用中值得训练的状态定位问题,为排行榜评测提供了理论支持。Critical-State RL:定位多轮工具调用中值得训练的状态
WebDev leaderboard的发布显示了排行榜正在向实际应用场景拓展,评测模型在真实Web开发任务中的表现。WebDev leaderboard details released by Arena