MIT 公开课 6.S950 第 7 课讲义：Outsourced Data 的风险与检查

MIT 公开课 6.S950 Agency with AI 第 7 课：Outsourced Data 讲义公布了，主题：用别人的数据，也就接受了别人的选择；下载或 fork 一个数据集，等于接受了别人对收集范围、过滤方式和标注规则的决定。让 AI Agent 去抓数据时，这些决定有很大一部分由模型悄悄替你做了。这一讲用大量真实案例和课程组自己的实验说明，数据里的风险要靠人主动检查。 讲义： slides.com/shensquared/ag… 开场问题：这条记录是谁决定的 课程组让 Claude Haiku 5.5 把一篇 TIME 文章抓成 JSON 记录，然后问学生：怎么请求网页、记录有哪些字段、每个字段填什么，这三步分别是人决定的还是 Claude 决定的？结尾给出答案：请求方式和字段是人选的，字段里填什么是 Claude 选的。整讲分四部分：需要什么数据；泄漏、近似重复和分布偏移；继承来的选择和风险；用 AI Agent 收集数据。 先定义预测任务，再选数据集 讲义要求先回答四个问题：数据要代表哪些人群，预测什么、用哪些字段，部署时面对的是新的人、新的文档、新的地点还是新的时间段，以及什么算一条记录、每个字段放什么。 几个例子说明，覆盖范围有偏差，样本再多也没用： · 1936 年《文学文摘》民调：寄出约一千万张选票，收回约 240 万张，预测兰登会赢，结果罗斯福赢下 48 个州中的 46 个。讲义指出，即使所有人都回复，预测会好一些，但仍然会低估罗斯福的得票率。 · Google C4：用一份「脏词表」过滤网页，一个词命中就丢掉整页。审计发现，被过滤掉的内容里，来自少数群体或关于少数群体的文本占比偏高。课程组自己用 13 篇维基百科文章复现了这条规则，「Sex」一词会让「同性婚姻」相关条目被丢掉，MIT 的条目也因为写出了 IHTFP 的全称被丢掉。 · FineWeb-Edu：换成学习得到的「教育性」评分后，这 13 篇都保留下来，但论坛帖、新闻和研究论文被排除了。讲义的结论是，换过滤器只是换了被排除的内容，排除本身还在。 · GeoDE 与提问语言：同一类物体在不同地区差别很大。课程组用中文、英文等四种语言各问 Claude 十次南沙群岛归属，回答随语言变化。只用一种语言的测试集，只覆盖了一类人群。 泄漏、近似重复和分布偏移 · 近似重复：CIFAR-100 有 891 张测试图在训练集里有近似副本，换掉之后 ResNet-110 的测试错误率从 26.05% 升到 29.24%。车牌数据集 AOLP 中，同一块车牌的多张照片可能同时出现在训练集和测试集，按车牌分开后识别准确率从 99.18% 降到 96.94%。 · 划分方式决定回答什么问题：用加州房价数据对比随机划分和按地区划分，如果模型要部署到没见过的地区，就要整块留出地区。 · 站点泄漏：一个肺炎 X 光模型能以超过 99.9% 的准确率认出图片来自哪家医院，换到第三家医院测试时问题才暴露。多来源数据要在模型没训练过的站点上测试。 整体准确率掩盖子群体失败：Lab 1 的最近邻分类器在 214 辆新车上准确率为 71%，但 5 辆电动车全部判错。报告子群体得分时，要同时给出样本数。 讲义把分布偏移分成三种：输入分布变了（协变量偏移），标签比例变了（标签偏移），输入和标签之间的关系变了（概念偏移）。前两种各有修正办法，而且训练数据覆盖部署数据所在的范围；标签比例变化可以按类别比例重新缩放预测概率，不用重新训练。 继承来的标签和风险 · 标签定义变了：Lab 1 的老车（1970–82）用的是固定油耗阈值；新车（1982–2015）的「高油耗」是指比当年新车平均水平差，阈值逐年变化。新车的来源说明文件里写了这一点。三种偏移在这里同时发生，这时该做的是先统一标签定义，而不是套用修正公式。 · 标签本身有歧义或错误：ImageNet 里标成「原声吉他」的图也可以标成「舞台」；MMLU 的答案也有错。看分数之前，先抽读一部分题目和答案。 · 谁标注、标注什么：仇恨言论数据集里，标注员知道推文用的是哪种方言后，标为冒犯的比例下降。一个医疗算法把未来医疗支出当作训练标签，但支出同时反映了就医机会的不平等，结果在同样的风险分下，黑人患者的慢性病更多。 · 数据集的安全和来源：Hugging Face 数据集里扫出了仍然有效的密钥，fork 会把它们一起复制出去。已撤回的人脸数据集，还活在它的副本和衍生模型里。只发布链接列表的图像数据集，内容由链接所在网站后来的控制者决定，所以要保存文件或哈希值。 用 AI Agent 收集数据 · robots.txt 只是请求：它说明哪些路径不希望被爬，但并不能阻止爬虫。课程组保存了 12 个网站的 robots.txt，如果 Common Crawl 遵守这些规则，未来的网页数据集会失去其中 8 个网站。 · Agent 会绕过限制：讲义引用 Anthropic 2026 年 10 月的报告，模型遇到付费墙时会自己绕过去。Shen Shen 还展示了自己的 Claude Code 在没有询问的情况下把她的邮箱地址发了出去。建议是事先写明访问失败时 Agent 该怎么做，并记录它实际走了哪条路。 · 网页里的提示注入：Google 扫描 Common Crawl 时，找到了专门写给 AI Agent 的指令，大多是恶作剧或教学材料，也没有发现真正生效的案例。建议限制采集器能抓取和执行的内容，并且要看它的请求日志，而不只是看产出的记录。 · 同一个 URL 返回不同内容：用浏览器、curl 伪装成 Chrome、curl 伪装成 ClaudeBot 三种方式请求那篇 TIME 文章，拿到的内容不一样。在只保留正文的规则下，Claude 三次都漏掉了 Instagram 和 Snapchat 的赞助内容，但三次都通过了 schema 检查。Opus 5.5 也一样漏掉了，不过让它对照原网页审计时，它每次都能指出来。通过 schema 检查，不代表字段内容完整。 meng shao @shao__meng x.com/i/article/2103… 🔗 View Quoted Tweet 💬 1 🔄 1 ❤️ 1 👀 290 📊 2 ⚡