Longtail-SWE:面向低资源编程语言的高质量软件工程任务基准
Longtail-SWE High-Quality SWE Tasks for Underrepresented Languages paper: https://t.co/VeHvSlYuMD
做代码模型评测的可以看看这个,SWE-bench 全是 Python 任务,这套覆盖了各种冷门语言,想测模型真实代码修复能力又有新参照了。
Longtail-SWE 是一个新发布的软件工程任务数据集,聚焦于现有 SWE 基准很少覆盖的低资源编程语言。论文指出,SWE-bench 等主流基准几乎全部由 Python 和 JavaScript 任务构成,导致模型在这些语言上的真实编程能力缺乏可靠评测手段。
该数据集以 issue-PR 配对的形式构建任务,每个任务附带可运行的测试用例用于自动验证补丁正确性,延续 SWE-bench 的评测范式并扩展到长尾语言。构建流程强调任务质量筛选,剔除测试缺失或描述不清的样本。
对研究者而言,这为检验模型在 Rust、Haskell 等语言的代码生成与修复能力提供了参照,也暴露了当前模型训练数据分布偏向主流语言的问题。
Longtail-SWE High-Quality SWE Tasks for Underrepresented Languages paper: https://t.co/VeHvSlYuMD
Longtail-SWE High-Quality SWE Tasks for Underrepresented Languages paper: huggingface.co/papers/2611.10…📊 9 ⚡
本条情报归属 AITOP「论文」核心追踪栏目。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Longtail-SWE、SWE-bench、代码生成、基准测试,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「AK」(@_akhaliq),经 AITOP 多维评分管线结构化提炼。