Factory 的 Legacy-Bench 加入 Fireworks 专项智能指数
写老代码的人该看看:Factory 的 Legacy-Bench 进了 Fireworks 的指数,专门测模型会不会修祖传代码。
Factory 宣布将自家基准 Legacy-Bench 并入 Fireworks AI 的 Specialized Intelligence Index。该基准专门测试模型对遗留系统的调试、扩展和迁移能力,这类任务对前沿模型来说仍是盲区。Fireworks 的指数纳入该基准后,用户可以在该平台上看到各家模型在遗留代码场景下的表现对比。
Today, our benchmark, Legacy-Bench, joins @FireworksAI_HQ’s Specialized Intelligence Index.
Frontier models have blind spots for legacy code, what’s benchmarked is improved. Legacy-Bench tests how well AI models can debug, extend, and migrate historic systems, to drive the future of software.