Data heterogeneity

concept · 首次出现 2026-06-25 · 最近出现 2026-10-30 · 累计提及 2

综述

Data heterogeneity(数据异构性)指分布式或联邦学习场景中,各参与方持有的数据在数量、分布和标签上不一致的现象,是制约联邦学习实用化的核心难题之一。由于各客户端数据呈现 Non-IID(非独立同分布)特性,直接聚合本地模型常导致全局模型收敛变慢、精度下降甚至偏向多数方,因此围绕数据异构性的研究持续活跃。

Data Heterogeneity 的近期研究进展

  • Data Amount Heterogeneity Improves Performance in Federated Learning for Neuroimaging:在神经影像任务的联邦学习研究中,数据量层面的异构性并非总是负面因素——该工作发现数据量不均衡反而能提升模型性能,提示不同维度、甚至方向相反的数据异构性应区别对待。
  • Understanding the Robustness of Distributed Self-Supervised Learning Frameworks Against Non-IID Data:从自监督学习视角检验分布式框架对 Non-IID 数据的鲁棒性,表明无监督表示学习在应对数据分布差异时可能比有监督训练更具韧性。
  • FedReLa: Imbalanced Federated Learning via Re-Labeling:针对标签不均衡问题提出重标记方法 FedReLa,通过修正客户端间标签分布差异来缓解非独立同分布数据带来的性能偏移,属于算法层面的补偿方案。
  • 当前焦点与观察点

    目前围绕 Data heterogeneity 的讨论呈现出三个值得关注的方向。其一是“异构性是否必然有害”被重新审视:神经影像研究显示数据量异构性可带来正向收益,这与此前把 Non-IID 默认为噪声的主流假设形成对照。其二是缓解手段从单一加权聚合走向多样化,包括重标记、鲁棒性框架设计以及借助自监督预训练来降低对本地分布的敏感度。其三是评估口径尚未统一,不同工作对数量异构、特征异构和标签异构的划分方式不一,导致方法之间的可比性有限。对实践者而言,一个合理的观察点是:在真实医疗影像、边缘设备等场景中部署联邦学习时,应先刻画各参与方的数据异构类型,再选择针对性的聚合或修正策略,而非笼统套用通用方案。

    相关报道

    3 条在档