论文提出 DS-QA 基准与蒙特卡洛协议评估 LLM 数据科学任务可靠性

论文介绍 DS-QA 基准，包含 100 道来自英国大学课程的数据科学与统计题目，覆盖 16 个数据集和 3 个难度等级。评估框架分三层：通用响应属性（运行时间、冗长度、文本相似度）、粗粒度指标（准确率、代码可执行性、完整性）和任务特定指标。团队用蒙特卡洛协议对 OpenAI 模型重复运行 100 次，发现数据可视化与监督学习任务在中高难度下响应变异性显著。论文还测得词冗长度比每增加 0.1，token 冗长度比约增加 0.013。