ICCVAug, 2021

去中心化数据协作无监督视觉表征学习

PDF
TL;DR该研究提出了一种名为 FedU 的联邦无监督学习框架，可以在保护数据隐私的同时利用去中心化的未标记图像数据学习视觉表示，并针对数据的非独立同分布问题提出了有效方法，实验证明其优于其他方法。
unsupervised representation learningfederated unsupervised learningdata privacydecentralized datanon-iid data
发现论文，激发创造
  • 重新思考使用非独立同分布数据进行联邦无监督学习的表示

    FedU2 提出了一种用于非 I.I.D. 数据的联邦无监督学习方法，通过灵活的统一正则化器（FUR）和高效的统一聚合器（EUA）来解决现有方法在局部和全局模型表示之间存在的困扰，并通过跨设备和跨隔离评估实验证明了其性能。

    Mar, 2024

  • 联邦无监督表示学习

    提出了一种新的联邦学习问题 -- 联邦无监督表示学习 (FURL)，用于在保护数据隐私的同时学习常见的表示模型。提出了一种基于对比平均和字典对齐的 Federated Constrastive Averaging with dictionary and alignment (FedCA) 算法，以同时解决数据分布转移和表示空间不一致两个挑战。实验证明，FedCA 在各种条件下的表现都优于其他基准算法。

    Oct, 2020

  • 基于神经网络的新型不平衡和非独立同分布数据的联邦学习系统

    通过提出集中式的、基于神经网络的联邦学习系统，利用边缘计算减少中央服务器的负载，同时在各种数据分布设置中相对于一些现有基准算法取得令人满意的性能。

    Nov, 2023

  • 多联邦学习：使用分散的联邦学习处理包容性非独立同分布数据

    多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

    Apr, 2024

  • 利用共享表示进行个性化联邦学习

    本文提出了一个新的联邦学习框架和算法，用于在客户之间学习共享的数据表示和每个客户的独特的本地头。我们的算法利用了跨客户的分布式计算能力，以便每次更新表示时进行许多针对低维本地参数的局部更新。我们证明该方法在线性设置中获得与地面实况表示的线性收敛，并获得接近最优样本复杂度，从而在每个客户端高效地降低问题维度。这个结果超出了联合学习，是一类希望在数据分布中学习共享的低维表示的问题的广泛兴趣，例如在元学习和多任务学习中。此外，广泛的实验结果显示了我们的方法在异构数据的联邦环境中相对于可选的个性化联邦学习方法的经验改进。

    Feb, 2021

  • 非独立同分布数据上的联邦学习：调查

    本文讨论了联邦学习的隐私保护机制，分析了非独立同分布数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响，概括了当前解决非独立同分布数据挑战的方法，并讨论了这些方法的优缺点。最后，提出了研究方向。

    Jun, 2021

  • 面向通信高效和隐私保护的联邦表示学习

    本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

    Sep, 2021

  • 互联网无人机图像自动识别的鲁棒半监督联邦学习

    利用半监督联邦学习框架和模型参数混合策略来保护数据隐私实现无人机图像识别；根据不同相机模块、地域环境等数据的统计异质性问题，提出基于客户端频率的聚合规则来调整对应本地模型的权重。

    Jan, 2022

  • 面部识别系统中保护隐私的联邦学习方法

    通过使用联邦学习（包括有和无安全聚合器）在受监督和无监督的人脸识别系统中进行训练，我们的实验结果表明联邦学习既保护了隐私又实现了与单独模型几乎相同的性能。我们的研究工作揭示了隐私保护的人脸图像训练中的实际挑战，尤其注重隐私和准确性的平衡问题。

    Mar, 2024

  • 去中心化非独立同分布未标记数据的学习是否受自监督益处？

    本研究以自监督学习为切入点，研究了在无标签数据的去中心化学习中，一系列对比学习算法的有效性。在实验结果中，该方法对去中心化数据集的异质性具有鲁棒性，并学习到了目标分类、检测和分割任务的有用表示，同时可以显著降低通信和参与数据源的比例。我们的研究为接受无标签数据的去中心化学习提供了积极的证据，并希望能够提供新的见解，证明和解释分散式自监督学习的有效性。

    Oct, 2022