Together AI 联合 alphaxiv 用真实研究任务测试开源模型
alphaxiv 做了个用真实论文研究任务考开源模型的基准,Together AI 提供算力跑分。相比 MMLU 这类问答榜,这种测法更接近你实际用模型查文献、读论文的场景,做科研工具或选型的人可以看看结果。
Together AI 发布与 alphaxiv 合作的基准测试结果,将多个开源模型放到真实研究任务上评测。该基准由 alphaxiv 构建,测试在 Together AI 的推理平台上运行,考察模型处理文献检索、论文理解等科研场景的实际表现,而非仅依赖通用问答类基准。与 SWE-bench、MMLU 等常见基准不同,这次测试聚焦科研工作流中的真实任务,能反映开源模型在学术使用场景中的可用性。
对于在科研机构或企业中使用开源模型的开发者来说,真实任务基准比榜单分数更能说明模型落地效果。测试在 Together AI 平台运行,也意味着开发者可以直接在该平台上复现这些结果,为自己的选型提供参照。
Open models, put to the test on real research tasks. Thanks to @askalphaxiv for building the benchmark and running them on Together AI!
本条情报归属 AITOP「模型」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Together AI、alphaxiv、开源模型、基准测试,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Together AI」(@togethercompute),经 AITOP 多维评分管线结构化提炼。