Airbnb 用 Presidio 构建文本去标识流水线,替换敏感信息供模型训练
Airbnb 把训练数据里的姓名、地址换成 faker 生成的假值,既防泄露又不丢上下文。用 GLiNER 替代 spaCy 抓完整住址的思路很实用,做数据合规或训练流水线的工程师可以直接参考这套做法。
Airbnb 在训练模型前,用开源库 Presidio 对消息、评价和客服对话中的个人信息做去标识处理,将姓名、住址、支付信息替换成逼真的模拟数据,以减少真实信息副本和泄露风险。该系统被实现为共享机器学习工作流中的可复用步骤,使用方只需标注哪些字段含个人信息,处理后的数据集会打上去标识标记并进入模型注册表。
识别环节用模式匹配与 GLiNER 识别实体:默认 spaCy 会把城市、地标也标成地点,覆盖不到完整住址,因此姓名和地址改用可在推理时指定「街道地址」的 GLiNER,两类实体的精确率均有提升。替换阶段不用占位符,而是用 faker 生成自然假值,同一轮内同一真值始终对应同一假值,且不保存对照表;房源链接保留,电话保留国家码和区号,标识符用盐值哈希,64 位内部编号用保形加密。
评测按实体类型和语言分开衡量,优先保证召回以避免漏检泄露。评测显示电子邮件、信用卡和房源编号在英、西、法、德、日、波兰语上表现完整,姓名和地址在日语和波兰语上明显偏弱,总体评分 9/10。目前系统仅处理文本,其他介质的去标识工作已在进行。
Airbnb 用 Presidio 做文本去标识:把真实信息换成可训练的假数据 训练模型前,Airbnb 会先处理消息、评价和客服对话里的个人信息:按公司统一分类,把姓名、住址、支付信息等替换成尽量逼真的模拟数据,既减少真实信息的副本和泄露,也尽量保留训练价值。政策由 Privacy Architecture 团队会同法务、政策和工程制定,再落实为代码。 medium.com/airbnb-enginee… 做成共享训练步骤,不另建中心服务 他们以开源库 Presidio 为基础。它最初由 Microsoft 开发,现已交由社区治理,以 Python 包在调用进程内运行。但只有每条流水线都使用当前版本和合规配置,保护才会生效。因此它被做成共享机器学习工作流中的可复用步骤,使用方只需标明哪些字段含有个人信息。 处理后的数据集会打上去标识标记,进入模型注册表,用来把关生产部署,并记录所用版本和配置。训练前还会先过滤已选择退出的记录。 用模式匹配和 GLiNER 识别,再用假值填回 Analyzer 先标出疑似个人信息的片段和置信度,Anonymizer 再处理重叠并替换。有固定形态的标识,用正则加上下文词识别。多种编号都可能是一串数字,他们扩展了短语级匹配,让更具体的词组优先得分。 默认的 spaCy 会把城市、地标也标成地点,在他们的评测中往往覆盖不到带门牌号的完整住址。姓名和地点因此改用可在推理时指定「街道地址」的 GLiNER。团队写道,两类实体的精确率都有提升;GLiNER2 已接入评测,只有基准证明有增益时才会换上。语言按整条记录或区域元数据判断,不稳时改用更保守的配置。 替换不用占位符或空白,以免模型把「这里被删过」也学成一种模式,大多数类型用 faker 生成自然假值。同一轮内,假值由真实值和当次密钥生成,同一真值始终对应同一假值,跨次运行则不同,且不保存对照表。房源自身链接会保留,电话保留国家码和区号;结构化字段中,标识符用调用方提供的盐值做哈希,坐标按隐私团队设定的精度截断,64 位内部编号用保形加密,以便通过原来的结构校验。 质量按语言和类型分开衡量 衡量时看召回、精确和吞吐,并优先保证召回,因为漏检就是泄露。指标按实体类型和语言分开统计,评的是重叠处理之后真正输出的结果。新语言要有标注数据才会上线,已稳定的类型发版时不能回退。 他们给出的评测图显示:电子邮件、信用卡和房源编号在英、西、法、德、日、波兰语上表现完整,姓名和地址在英语、西班牙语、法语、德语上较好,在日语和波兰语上明显偏弱,总体评分为 9/10。目前仍只交付文本,其他介质的去标识已经开始做。 Airbnb Engineering @AirbnbEng How do you protect personal data while keeping AI training data useful? Airbnb built a system that detects and replaces sensitive information at scale, without losing the context models need to learn. Here’s how it works. 👇 medium.com/airbnb-enginee… x 🔗 View Quoted Tweet📊 3 ⚡
本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Presidio、Airbnb、GLiNER、数据脱敏,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「shao__meng」(@shao__meng),经 AITOP 多维评分管线结构化提炼。