技巧Agent 与开发者精选23:56Milvus 用 MinHash 和 LSH 检测训练数据里的重复与改写文档做数据清洗的朋友可以看看:Milvus 官方演示了怎么用 MinHash 加 LSH 抓出改写过的重复文本,Jaccard 打分从 0.92 到 1.00 分得很清楚,文档可以直接跟着跑自己的数据集。#Milvus#MinHash#LSH#数据去重Milvus@milvusio原文稍后读已读值得跟进有用关注 Milvus