Sakana AI 发布日语金融基准 JFinBench:321 道题源自日本金融资格考试
Sakana AI 把日本 6 项金融资格考的 2026 年真题做成了 321 题的评测集,含计算、论述和读图题。测了 12 个 LLM,开源模型在通用榜上追平闭源,在这里却差一截,短板是日本法规知识。做日本市场落地的团队和设计检索型 agent 的开发者都该看看。
Sakana AI 公开了日语金融领域评测基准 JFinBench,全部 321 道题取自日本 6 项金融资格考试(公認会計士、税理士、FP技能検定1級等)的 2026 年版试题。
题型不限于选择题,还包含税额计算、论述题和图纸阅读。评测了 12 个最新 LLM,结果显示开源权重模型在通用基准上已接近专有模型,但在 JFinBench 上差距明显,失败主因是日本制度知识不足而非计算能力。
构建上采用 coding agent 转换考试 PDF、人工全量校验的 human-in-the-loop agentic pipeline,人工目视校验仅约 12 小时,可随每次新考试低成本更新。在提供终端和 Web 的设置下,模型通过检索法令补充知识提升了分数,但差距仍然存在。
最新の金融資格試験を用いた日本語金融ベンチマーク「JFinBench」を公開
ブログ:https://t.co/gwIEfb3uWl
Sakana AIは、日本の金融分野に強いAIの開発に向けて、LLMの能力を評価するベンチマーク「JFinBench」を構築しました。公認会計士試験、税理士試験、FP技能検定1級など、日本の6つの金融資格 試験の2026年版から作成した全321問で、選択式だけでなく、税額の計算や論述、図面を読み取る問題も含みます。
税制や会計基準は頻繁に改正されるため、金融のベンチマークは最新の問題で更新し続けることが重要です。JFinBenchの構築では、試験PDFの変換をコーディングエージェントが担い、人間が全問を検証する「human-in-the-loop agentic pipeline」を提案しました。目視による検証は約12時間で済み、新しい試験が実施されるたびに少ない労力でベンチマークを更新できます。
最新の12のLLMを評価したところ、主要なベンチマークではプロプライエタリモデルに肩を並べつつあるオープンウェイトモデルも、JFinBenchでは大きな差があり、既存のベンチマークでは見えない差が浮き彫りになりました。失敗の主な原因は計算ではなく、日本の制度に関する知識の不足でした。ターミナルとWebを使える設定では、モデルが法令を調べて知識を補うことでスコアが上がりましたが、差は残りました。
今回の結果は、日本固有の法令や会計基準の知識をモデルにどう獲得させるか、外部の知識を検索・活用するエージェントをどう設計するかが重要であることを示しています。JFinBenchで得た知見を活かしながら、日本の金融分野へのAI実装に向けた研究開発を進めていきます。
論文:https://t.co/nPlfXAUA4m データセット:https://t.co/g0Gfj2Uigk GitHub:https://t.co/lz5herOwaC 🐟
本条情报归属 AITOP「论文」核心追踪栏目。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Sakana AI、JFinBench、LLM、金融,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Sakana AI」(@SakanaAILabs),经 AITOP 多维评分管线结构化提炼。