Airbnb 实测：微调 Gemma4-E2B 以约 1% 推理成本达到前沿模型分类水平
Airbnb 把 20 亿参数的 Gemma4-E2B 微调到 F1 0.902，成本只有前沿 API 的 1%，还老老实实说了哪些情况不划算，做分类任务的建议看看。
Airbnb 在价格与付款透明政策审核任务上，用数十万条去标识化样本微调了约 20 亿有效参数的 Gemma4-E2B，F1 从 0.563 提升至 0.902，与最好的专有模型相当。微调后延迟中位数为 35 毫秒，p99 约 85 毫秒，而前沿 API 低思考模式下中位延迟约 900 毫秒。高流量下自托管 GPU 的推理成本约为前沿 API 的 1%，但每分钟请求低于约 15—30 次时，部分前沿 API 反而更便宜，训练、标注和运维成本也未计入。
Airbnb 实测：专用小模型如何以约 1% 推理成本，达到前沿模型的分类水平 来自 @AirbnbEng 分享：在一个高频、实时的内容审核任务上，Airbnb 微调的小模型取得了接近前沿模型的分类效果，延迟不到 100 毫秒，高流量下推理服务成本约为前沿 API 的 1%。关键条件是任务明确、数据充足、调用量大，而不是小模型全面追上了大模型。 airbnb.tech/ai-ml/frontier… 比的是什么任务 任务是判断用户内容是否违反价格与付款透明政策，每分钟处理数千次请求，要求在 200 毫秒内返回分数。误拦会阻止正常内容发布，因此精确率尤其重要。 评测使用 1 万条留出样本，并通过权重校正抽样与生产流量的差异。部分模型还在 18.4 万条样本上复核，F1 差异不到 0.01。主要指标是综合精确率与召回率的 F1；能够输出分数的模型，会扫描阈值取最佳结果。 小模型靠什么追上 Airbnb 用数十万条去标识化的领域样本，微调了约 20 亿有效参数的 Gemma4-E2B。微调后，F1 从 0.563 提升至 0.902，与最好的专有模型相当；延迟中位数为 35 毫秒，p99 约 85 毫秒。相比之下，前沿 API 在低思考模式下，中位延迟约为 900 毫秒。 它还能输出概率，让业务方调整阈值，在漏检与误拦之间取舍。文章也给前沿模型使用了更详细的提示词，质量提升约 1—3 个百分点、大致追平微调模型，但延迟和费用进一步增加。这里使用的是领域微调，文章没有说采用了蒸馏。 「约 1% 成本」有条件 比较的是高流量下，一张自托管 GPU 的公开租用费，与前沿 API 按公开标价计算的 token 费用。API 侧还计入了缓存折扣。 这不是完整总成本：训练、标注、开发、运维和冗余备份都没有计入。流量不足时，专用 GPU 闲着也要付费；每分钟低于约 15—30 次请求时，文中比较的部分前沿 API 反而更便宜。 💬 0 🔄 0 ❤️ 0 👀 31 ⚡
