事件专题 ·官方一手

PersonaHate:基于人设的数据合成管线,生成 791K 仇恨言论数据集

arXiv 论文 PersonaHate 提出一条可扩展的人设驱动数据合成管线,用于构建覆盖面更全的仇恨言论数据集。管线从两个真实来源抽取 457K 人设池,以此条件化 8 个 LLM 生成针对 34 个身份群体的仇恨内容,并经多裁判模型标注获得可靠标签,最终得到 791K 样本语料,再从中整理出 67K 的群体均衡训练集。 机制上,PersonaHate 用人设作为生成条件的锚点,避免合成数据集中于少数目标群体;模块化设计允许接入新的身份群体、生成器和新出现的仇恨对象。基于该数据集,论文比较了从零训练和继续微调两种策略:一个 184M 参数的 DeBERTa-v3 模型达到 77.5% 平均 F1 和 79.4% 平均准确率,在 HateBenchSet 和 MHS 两个外部基准上超过 OpenAI 的 Moderation API。 对开源生态的更直接信号是,微调 Llama-3.1-8B 将其平均 F1 从 70.7% 提升到 78.4%,提高 7.7 个百分点,并在 4 个基准中的 3 个上超过 Meta 官方同架构的 LlamaGuard-3。这说明中小模型配合高质量合成数据,在内容审核这类任务上可以逼近甚至超过专用的安全模型,对自建审核管线的内容平台有参考价值。

当前结论

一篇很实用的数据合成论文:8 个 LLM 按人设生成了 79 万条仇恨言论样本。用它的 6.7 万条数据微调后,Llama-3.1-8B 的 F1 比 Meta 自家 LlamaGuard-3 还高。做内容审核或安全数据集的团队直接照着抄管线就行。

11 个信源38° AI 热度最后更新 2026/11/16 22:20:46

证据链

11 个信源
相关来源 7Rappler: Technology
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。