搞智能体工程的朋友可以看看:研究团队从 6K+ 仓库里挖出 15K+ 条 CI 工作流历史,专门追踪编码智能体在 GitHub Actions 里的用法,抽取工具 cai-miner 开源,准确率验证到 96% 以上。想做智能体与 CI 集成研究或评估的项目直接用得上。
#数据集
LMArena 这波开源对做前端生成模型评测的人挺有用:6,390 对真人偏好标注加 189 个游戏版本的功能验证数据,拿去就能给自己的模型跑对比测试,比只看 pass@k 这种自动指标靠谱。写论文或搞评测基座的团队可以直接下。
中文教育语料老是被吐槽碎、乱、缺体系,这批人用知识图谱当骨架重建了一遍,还开源了检索平台。做中文模型训练或垂直领域数据构建的可以看看他们的组织思路,比自己乱爬数据靠谱。
Hugging Face 用户破 2000 万、托管量到 300PB,一周新增 9PB,10 月 DAU 和收入都是历史最高。做开源模型或 agent 训练数据的人可以看看这个生态的体量,自己放数据集时也心里有数了。
搞肺癌筛查 AI 的朋友可以看看:魁北克团队放出了 1,678 例 LDCT 扫描加专家标注的公开数据集,标注量比现有公开数据集都大。亮点是 model-to-data 访问机制,数据不出门,代码上门跑,做模型对比评测方便多了。
做无线通信和信道建模的人可以看看这个数据集。10万个室外射频场景、29TB 数据,覆盖 3.5 和 7 GHz 两个频段,专门为训练无线基础模型设计。论文还验证了场景多样性对泛化的作用,想做跨部署环境泛化的团队用得上。
有人把 UCR 这个 TSC 标准基准逐个数据集扒了一遍,发现不少任务的原始用途被改掉了。跑基准刷分前建议先看这份审计。
MIT 这节课讲了下载别人的数据集时你悄悄接受了什么,CIFAR-100 那 891 张重复图的数字很能说明问题,还教你检查 Agent 抓数据的路径。
心理咨询师的能力评估一直靠人工打分,又贵又难规模化。这个数据集首次公开了 890 段带评分的咨询师视频,想做情感计算或多模态评估的可以看看。
一个拿 3D 游戏录像训练智能体的数据集,把任务拆成子目标再对齐键鼠操作,500 条轨迹审核通过率 95.8%,做 VLA 研究的可以看看。
顺着 Hacker News 数据的思路,有人挖出了 Hugging Face 上的 Reddit 全量数据,2005 年至今都有,做社媒分析或出海选题的可以看看,就是 109GB 起步,先备好硬盘。
向阳乔木用 Hugging Face 上那份 12G 的 HackerNews 数据集做了个找书网站,能直连 zlib 下载,还挂了 Goodreads 和豆瓣书评,爱读书的可以收藏。
有人发现 HuggingFace 上有 12G 的 HackerNews 数据集,已经用它做了书库、生意案例库等四个网站,你也拿去玩玩。
做阿拉伯语教育 NLP 的可以看看,999 条科学实验加 2167 道选择题,还附了 10 个开源模型的 LoRA 微调评测结果,即将开源。
Google 放出一个 36 小时视频的音频描述数据集,专门测模型生成的旁白能不能塞进视频静默间隙,盲人用户实测说很有用。
做视频生成的朋友可以看看这个 MEV 数据集,专门针对一个长镜头里连续多个事件的场景,带时间边界标注,比常见的单事件短片数据集更对口。
有人拿 BERT 分析了奥地利议会 22 年的演讲,发现联合执政的政党说话越来越像,退党议员也是换了党才改口风。
有人做了个数据买卖市场,你把数据打包定价上传就能卖,AI 公司会来买,想搞副业的可以看看。
乌克兰团队把 200 张战时梗图做成了带说服技巧标注的数据集,还测了各家视觉语言模型靠不靠得住,做内容审核或多模态研究的朋友可以看看。
微调 Whisper Medium 就把孟加拉语 WER 从 85% 打到 7.65%,80 多家机构一周内排队要授权,低资源语音方向的值得关注。
Stanford 团队发布了 SWE-chat v2,包含 23 万条真实开发者与 AI 编程代理的交互数据,是研究 AI 编程助手的重要资源。
同一个 Whisper Medium,换个数据集微调就把 Telugu 错误率从 92.7% 干到 16.1%,还故意保留噪声做分层,思路很值得学。
研究 RTL 断言生成的可以看看,120 个行为族都做了形式化验证,还能测模型对等价实现的鲁棒性。
华为团队把 44 万个 GitHub 仓库和 55 万篇 arXiv 论文连起来,发现星标等信号能提前判断哪篇论文会火,精度提升 12%,数据集免费下载。
这个数据集对做AI医疗图像分析的朋友应该有用,是专门针对结肠息肉的,包含遗传性和非遗传性病例,还有组织病理学和基因信息,能训练更精准的模型。
谷歌出了个叫AI经济ATLAS的东西,把全球AI数据都放出来了,可以自己看各国AI发展情况,挺有意思的。
HuggingFace上周接收了4PB新内容,相当于80万部高清电影,AI开发者上传量创新高。
Dantong Niu团队开源了T-Rex,一个在触觉反应式灵巧操作方面取得显著成果的项目,数据集和模型都很有价值,值得一试。
Anthropic开源了提示词和数据集,还发布了技术报告,想了解他们AI系统设计的可以看看。
GitSkills把近28万个仓库的380万份SKILL.md整理成SQLite文件,方便挖点子。
想研究 Agent 技能生态的,这个数据集直接给你 380 万份真实 SKILL.md,比你自己爬 GitHub 省事多了。
想了解AI经济影响?Anthropic在Claude里直接集成了Economic Index,免费数据随便用,快试试。
想要自动生成带精确几何图形的数学题?FormalAnalyticGeo 用 CDL 形式语言和 SDF 渲染,造出了 7000+ 带标注的解析几何题目,误差不到 1%。
越南语推荐研究缺数据?ViHoRec 提供了 18K 条跨平台高质量交互,还附带了冷启动基准,方便你对比模型在稀疏场景下的表现。
Vercel 公开了 AI Gateway 的数据,能看到各模型在生产中的真实用量,适合做流量趋势分析。
想给GitHub仓库自动打行业标签?这篇论文发布的数据集和管道精度高达97%,直接用RoBERTa或GPT-4.1就能复现,省去手动标注的麻烦。