May, 2024

可解释的分布式学习中的数据融合：一种代表性的梯度匹配方法

PDF
TL;DR该论文介绍了一种基于代表性的分布式学习方法，将多个原始数据点转化为虚拟表示。相比于传统的分布式学习方法如联邦学习，该方法能使复杂的机器学习过程可解释且易懂，通过将庞大的数据集压缩成可理解的格式来促进人机直观交互。此外，该方法能保持隐私和通信效率，并且在训练性能上与使用原始数据的模型相媲美。模拟结果表明，在复杂模型和更多客户端的场景下，该方法在准确性和收敛性方面与传统的联邦学习相比具有竞争力甚至更好。该框架在整合人类直觉和机器智能方面迈出了一步，有潜力增强人机学习界面和协作努力。
发现论文，激发创造
  • 通过表示匹配和自适应超参数实现鲁棒联邦学习

    本文提出了一种解决分散式学习中数据分布不一致、超参数调整等问题的两种方案，分别是特征匹配方案和自适应超参数调整方案，并在多个基准测试中证明，这两种方案可以显著提高性能和训练鲁棒性。

    Dec, 2019

  • 使用共识图预训练不同特征的模型联邦学习

    本文提出了一种通过特征融合方法来提高预测性能，解决了在分布式物联网中利用不同模型进行本地学习而合并本地模型以实现一致性的问题。通过在现实场景中的应用，如电力网和交通网络，证明了此方法的有效性。

    Jun, 2023

  • 利用共享表示进行个性化联邦学习

    本文提出了一个新的联邦学习框架和算法，用于在客户之间学习共享的数据表示和每个客户的独特的本地头。我们的算法利用了跨客户的分布式计算能力，以便每次更新表示时进行许多针对低维本地参数的局部更新。我们证明该方法在线性设置中获得与地面实况表示的线性收敛，并获得接近最优样本复杂度，从而在每个客户端高效地降低问题维度。这个结果超出了联合学习，是一类希望在数据分布中学习共享的低维表示的问题的广泛兴趣，例如在元学习和多任务学习中。此外，广泛的实验结果显示了我们的方法在异构数据的联邦环境中相对于可选的个性化联邦学习方法的经验改进。

    Feb, 2021

  • 面向通信高效和隐私保护的联邦表示学习

    本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

    Sep, 2021

  • 基于代表共享的可扩展协作学习

    通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

    Nov, 2022

  • 个性化解读联邦学习：一种虚拟概念方法

    设计了一种新颖的联邦学习方法，用于解决跨客户的非独立同分布数据解释性问题，同时提高模型性能和训练过程的鲁棒性，并实验证明了该方法的有效性。

    Jun, 2024

  • FedDM：基于迭代分布匹配的通信高效联邦学习

    本研究提出了 FedDM，旨在通过多个本地替代函数来构建全局训练目标，从而减少通信轮数，改善模型质量，并在保留差分隐私的同时证明该算法的有效性。

    Jul, 2022

  • 基于协调数据孤岛的联邦学习

    本文提出了一个面向端到端联合机器学习和数据集成的体系结构愿景，为数据管理信息系统和机器学习交叉研究带来重要启示，以解决不同站点之间存在的数据集成和数据格式一致性问题。

    May, 2023

  • 去中心化数据协作无监督视觉表征学习

    该研究提出了一种名为 FedU 的联邦无监督学习框架，可以在保护数据隐私的同时利用去中心化的未标记图像数据学习视觉表示，并针对数据的非独立同分布问题提出了有效方法，实验证明其优于其他方法。

    Aug, 2021

  • 松弛对比学习用于联合学习

    我们提出了一种新颖的对比学习框架，以应对联邦学习中的数据异构性挑战。我们分析了本地训练期间客户端之间梯度更新的不一致性，并建立了其与特征表示分布的依赖性，从而导出了用于减轻局部偏差的监督式对比学习（SCL）目标。此外，我们表明，在联邦学习中简单采用 SCL 会导致表示坍缩，导致收敛缓慢且性能有限。为了解决这个问题，我们引入了一种放松的对比学习损失，对每个类别中过度相似的样本对施加差异惩罚。这种策略可以防止表示坍缩并增强特征可传递性，促进协作训练，并带来显著的性能提升。通过大量实验结果，我们的框架在标准基准上比所有现有的联邦学习方法都取得了巨大的优势。

    Jan, 2024