Stanford AI Lab 提出 hinted scaling laws，可从零分模型预测基准准确率
精选理由
Stanford AI Lab 把基准改成带提示的简单版本，小模型得零分也能算出 GSM8K 成绩，省 5600 倍算力，方法挺巧妙。
Stanford AI Lab 的 Suze van Adrichem 等人提出 hinted scaling laws 方法，把一个基准改造成带提示（hint）的多个更易版本，再联合建模模型规模 C 和提示等级 H 两个变量。这样即便小模型在原版基准上得零分，也能外推其准确率。实验显示，用该方法预测 GSM8K（H=0）的准确率，误差控制在 3 分以内，计算量减少 5600 倍。
原文 · Stanford AI Lab
Hinted scaling laws allow you to make better benchmark accuracy forecasts! Suze van Adrichem @suze_va Can we forecast benchmark accuracy from models that score zero? We (co-leads @LukeBailey181 @rckpudi ) turn a benchmark into a series of easier hinted versions. Jointly modeling scale C and hint level H enables forecasting GSM8K acc (H=0) within 3 pts from 5600x less compute 🧵 🔗 View Quoted Tweet 💬 0 🔄 2 ❤️ 3 👀 503 📊 1 ⚡
