Feb, 2024

共识学习：一种新的去中心化集成学习范式

PDF
TL;DR该研究论文介绍了一种新颖的分布式机器学习范式 —— 共识学习，它将经典的集成方法与点对点系统中部署的共识协议相结合。该算法包括两个阶段：参与者开发模型并对任何新的数据输入提交预测；个体预测作为输入参与通信阶段，该阶段由共识协议控制。共识学习保证用户数据隐私，同时继承底层共识机制对拜占庭攻击的安全措施。我们对特定共识协议进行了详细的理论分析，并将共识学习集成与集中式集成学习算法的性能进行了比较。此外，通过各种数字模拟，描述了算法对拜占庭参与者的鲁棒性。
发现论文，激发创造
  • 合作多智体强化学习的共识学习

    本研究提出了一种协作多智能体强化学习的共识学习方法，通过基于本地观察的共识学习，在分散式执行期间将推断出来的共识明确地作为智能体网络的输入，从而发展他们的合作精神，并在若干完全合作任务上获得了令人信服的结果。

    Jun, 2022

  • 分散式深度學習共識控制

    本论文研究了分散式深度学习模型的训练，提出了共识距离作为影响中心式和分散式训练效果的关键因素，并在理论和实验上证明了降低共识距离可以提高分散式训练模型的泛化性能。同时，本论文提供了实用的训练指南以缓解训练效果下降。

    Feb, 2021

  • 使用共识图预训练不同特征的模型联邦学习

    本文提出了一种通过特征融合方法来提高预测性能，解决了在分布式物联网中利用不同模型进行本地学习而合并本地模型以实现一致性的问题。通过在现实场景中的应用，如电力网和交通网络，证明了此方法的有效性。

    Jun, 2023

  • 物联网分散协作式机器学习框架

    提出了一种面向资源受限设备的分散协作机器学习框架，使用了基于原型的增量学习算法、基于随机的模型交换协议以及用于预测和原型创建的两种算法。与典型的集中式增量学习方法相比，在准确性、训练时间和鲁棒性方面取得了非常有前景的结果。

    Dec, 2023

  • 规模安全分布式训练

    本文提出了一种新颖的协议，用于安全的（拜占庭容错）分散式训练，强调通信效率。

    Jun, 2021

  • 基于预测共识的协作学习

    本文提出了基于蒸馏的方法，并采用信任加权方案，使用伪标签的无标签辅助数据促进合作学习，以达成对辅助数据的标签共识。我们证明了该方案相对于本地训练能显著提高模型性能，同时也可以识别和缓解对于众多模型的负面影响。在个体数据训练以及模型架构存在异质性的情况下，该方法表现得尤为有效。

    May, 2023

  • 合作设备的联邦学习：大规模物联网网络的共识方法

    这篇论文介绍了一种完全分布式的联邦学习算法，该算法的优点在于避免了数据披露并具有扩展性商用前景，可以在包括物联网设备在内的网络中使用。

    Dec, 2019

  • 对等学习与非独立同分布数据的一致性

    使用点对点深度学习算法，实现分布式边缘设备之间的协作训练深度神经网络，无需交换原始训练数据或依赖中央服务器。我们发现模型漂移导致本地训练和共识阶段之后的测试性能出现显著震荡，并确定了放大性能震荡的因素。通过我们的创新方法 P2PL with Affinity，在非独立同分布的设置中，我们能够减弱测试性能震荡，而不增加额外的通信成本。

    Dec, 2023

  • 液体集成选择用于持续学习

    连续学习旨在使机器学习模型能够在数据分布不断变化的情况下不忘记已学知识。通过训练集合中的每个成员于不同相关子集，使整个集合相比于单纯模型能够获得更高准确率且遗忘更少的问题。我们解决了在给定数据上选择哪些模型应该学习，哪些模型应该进行预测的问题。通过借鉴委托投票的工作，我们开发了一种用于动态选择集合中活动模型的委托算法。我们探讨了各种委托方法和性能指标，最终发现在面对分布变化时，委托能够显著提高性能，优于单纯学习。

    May, 2024

  • 网络容错和拜占庭鲁棒的社交学习通过协作层次非贝叶斯学习

    基于分层系统架构，解决面临通信故障和对抗攻击的非贝叶斯学习问题，并提出适应分布式网络的算法

    Jul, 2023