模型多源确认
OpenAI 将研究数学用作模型评测基准
精选理由
OpenAI 拿研究数学当评测集，评论区指出密码学和 ML 这类实用领域反而几乎不进发布信息，角度挺特别。
OpenAI 把研究数学作为评测模型能力的一类基准。据评论，密码学、机器学习相关领域等实用性强的方向反而很少出现在实验室的模型发布信息中，实用性与发布曝光度呈负相关。这条推文指出评测选题与能力展示之间存在错位。
原文 · Teortaxes
OpenAI is using research math as an *eval* The utility of domains will be sharply negatively correlated with their representation in lab releases. Cryptography, anything ML-related – forget about it.
