Anthropic发布Haiku 5.5在ARC-AGI评测中表现优异
精选理由
Anthropic小模型Haiku 5.5在ARC-AGI评测中表现亮眼，性价比高
Anthropic发布了小模型Haiku 5.5，在ARC-AGI-1基准测试中达到89.0%的准确率，任务成本为0.051美元。在ARC-AGI-2测试中，Haiku 5.5准确率达到61.3%，每任务成本0.085美元。在最新的ARC-AGI-3测试中，使用provider adapter harness获得2.8%的准确率，成本437美元；使用standard harness获得0.5%的准确率，成本388美元。
原文 · ARC Prize
Haiku 5.5 from @AnthropicAI on ARC-AGI (Verified):
- ARC-AGI-3: 2.8%, $437 (provider adapter harness); 0.5%, $388 (standard harness) - ARC-AGI-2: 61.3%, $0.085/task - ARC-AGI-1: 89.0%, $0.051/task
Haiku 5.5 delivers competitive performance for Anthropic's small-model tier. https://t.co/W7MrXZsSng
