MIT 研究:OpenAI 前沿模型解理论难题成功率 16 个月内从 3% 升至 35%
MIT 测了 OpenAI 模型做数学物理经济理论题的能力,16 个月成功率从 3% 涨到 35%,一次成功要花约 15 美元,还说验证成了新难题。
MIT CSAIL 发布新研究,测试前沿 OpenAI 模型在数学、物理、经济学理论问题上的表现。模型成功率在 16 个月内从 3% 提升到 35%,每次成功尝试的成本约 15 美元。研究指出新的瓶颈可能在于验证:判断模型给出的解答是否正确变得越来越困难。
AI is quickly improving at tough theory questions in math, physics, & economics.
In a new MIT study, frontier OpenAI models’ success rate rose from 3% to 35% in 16 months, while a successful attempt cost about $15. The new bottleneck may be verification: https://t.co/xbxnHBKzxs https://t.co/rI6cn02umA