Salesforce 发布 GIFT-Eval-CTX：面向情境化时间序列预测的开源基准
Salesforce 搞了个新基准，专门测 LLM 能不能把'下周有热浪'这类文字信息变成更准的数字预测。GPT-5.6 Sol 加上下文误差降了四成，还开源了整套数据集，做时序预测的可以直接拿来跑分。
Salesforce Research 推出 GIFT-Eval-CTX，一个用于评估 LLM 和智能体在情境化预测任务上表现的开源基准，包含来自 20 个真实数据集的 10,000 个任务。传统预测模型只能从历史数值中学习，无法将热浪、产品发布等已知事件转化为量化调整，该基准正是针对这一缺口。
基准测试结果显示，向模型提供结构化的未来事件上下文后，GPT-5.6 Sol 的预测误差降低 40.7%，Claude Opus 4.8 降低 29.6%。表现最好的方案 MoiraiAgent 将 LLM 与 Moirai-2 模型和代码执行相结合，比最佳纯历史数据模型误差低 36.3%，且在更长预测窗口上优势更大。
对能源运营、供应链和 IT 团队而言，这个基准提供了一套可复现的评估方式。基准、数据集和排行榜均已开源，开发者可以直接上手构建具备情境感知能力的预测系统。
GIFT-Eval-CTX: An Open-Source Benchmark for Contextual Forecasting
🔗 Blog: https://t.co/7Fk34vimDu 🔗 Paper: https://t.co/gWQYFrqAl1
Energy operators, supply chain leaders, and IT teams often know what's coming, from a heatwave to a product launch. But that knowledge lives in text, and traditional forecasting models can only learn from historical numbers with no way to translate real-world context into quantitative adjustments.
GIFT-Eval-CTX measures how well LLMs and agents turn that forward-looking context into accurate numerical forecasts across 10,000 tasks from 20 real-world datasets.
→ Structured context about upcoming events reduced GPT-5.6 Sol's forecasting error by 40.7% and Claude Opus 4.8's by 29.6% → MoiraiAgent, which pairs an LLM with Moirai-2 and code execution, achieved 36.3% lower error than the best history-only model, with its lead growing on longer forecasts
The benchmark, dataset, and leaderboard are openly available for anyone building context-aware forecasting.
#EnterpriseAI #AgenticAI
本条情报归属 AITOP「论文」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：GIFT-Eval-CTX、Salesforce、GPT-5.6、Claude Opus 4.8，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「Salesforce AI Research」（@SFResearch），经 AITOP 多维评分管线结构化提炼。
