Milvus 2.6 新增原生MinHash LSH索引，降低LLM训练语料去重成本
Milvus 2.6 加了一个原生MinHash LSH索引，专门用来做大文本集合的近似去重，比MapReduce方案快3-5倍，适合搞LLM训练数据清洗的团队。
#文本去重
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「文本去重」标签的资讯、产品与论文，按刊登时间排，新的在上。
7月13日
Milvus 2.6 加了一个原生MinHash LSH索引，专门用来做大文本集合的近似去重，比MapReduce方案快3-5倍，适合搞LLM训练数据清洗的团队。
