CVPRApr, 2024

DIMAT：分散迭代合并训练用于深度学习模型

PDF
TL;DR从先进的模型合并技术中汲取灵感，我们引入了分布式迭代融合和训练（DIMAT）范式 —— 一种新颖的分布式深度学习框架，它通过使用高级模型合并技术如激活匹配，使每个代理在本地数据上训练，并定期与相邻代理合并，直到达到收敛。实证分析验证了 DIMAT 在多个数据集上的计算机视觉任务中相对于基线方法的优越性，结果表明 DIMAT 在使用独立同分布（IID）和非 IID 数据时以更快的速度和更高的初始准确性获得收敛，并且通信开销更低。DIMAT 范式为未来的分布式学习提供了新的机会，增强了其适应真实世界的稀疏和轻量级通信和计算需求。
decentralized deep learningcommunication overheadsmodel merging techniquesdimat paradigmcomputer vision tasks
发现论文，激发创造
  • 分散多智能体学习的通信高效负载平衡

    分散多智能体学习（DML）通过保护数据隐私实现协作模型训练。然而，代理资源的内在异质性（计算、通信和任务大小）可能导致训练时间的巨大变化。为减少在异质环境中的训练时间，我们提出了一种用于分散多智能体学习的通信高效的训练工作负载平衡方法（ComDML），通过分散方法平衡代理之间的工作负载。ComDML 利用局部损失切分训练，使较慢的代理将部分工作负载分配给较快的代理进行并行更新。为最小化整体训练时间，ComDML 通过综合考虑代理的通信和计算能力来优化工作负载平衡，其中涉及整数规划。我们开发了一种动态分散配对调度器来有效配对代理并确定最佳的分担量。我们证明，在 ComDML 中，较慢和较快的代理模型都能收敛于凸和非凸函数。此外，对流行数据集（CIFAR-10、CIFAR-100 和 CINIC-10）及其非 I.I.D. 变体，以及 ResNet-56 和 ResNet-110 等大模型进行了广泛的实验，结果表明 ComDML 相对于现有方法能够显著减少整体训练时间，同时保持模型准确性。ComDML 在异质环境中表现出鲁棒性，并且可以无缝集成隐私措施以增强数据保护。

    May, 2024

  • 随机网络上的在线分布式学习

    在多智能体系统中，为解决分布式学习问题，本研究提出了一种名为 DOT-ADMM 的算法，通过在线学习、异步智能体计算、不稳定与受限通信以及近似本地计算等方法，保证了算法的收敛性和稳健性。

    Sep, 2023

  • DialMAT: 基于对话的变压器与基于时刻的对抗训练

    该研究聚焦于 DialFRED 任务，介绍了 DialMAT 方法，其中提出了基于时刻的对抗训练，运用在语言、图像和行动的潜在空间，并引入了跨模态并行特征提取机制，基于 DialFRED 数据集构建的评估显示其在成功率和路径加权成功率方面表现优越，该模型在 CVPR 2023 体验智能研讨会的 DialFRED 挑战中取得了第一名的位置。

    Nov, 2023

  • GADMM: 快速且通信高效的分布式机器学习框架

    本文提出一种快速且高效的分布式机器学习框架，名为 Group Alternating Direction Method of Multipliers (GADMM)，该算法在分布式 topology 中解决问题，且与现有算法相比，实现更快的收敛和更高的通讯效率；此外，还提出了 GADMM 的变体，即 Dynamic GADMM (D-GADMM)，并证明了其在时间变化的网络拓扑下的收敛性。

    Aug, 2019

  • 动态模型平均的高效分散式深度学习

    我们提出了一种高效的协议，用于分布式数据源的分散式深度神经网络训练，该协议允许同等处理模型训练的不同阶段，并快速适应概念偏移，这导致与周期性通信的最先进的方法相比，通信减少了一个数量级。此外，我们得出一个通信限制，该限制随序列化学习问题难度的增加而缩放得很好，通信的减少几乎没有代价，因为预测性能保持几乎不变。实验证实了模型性能和通信之间的权衡的显着改进，这可能有助于许多分散式学习应用，例如自动驾驶或移动电话上的语音识别和图像分类。

    Jul, 2018

  • 使用动量加速共识的去中心化深度学习

    本文研究了分布式数据集下的分布式深度学习中的通信拓扑问题，提出一个基于梯度优化的 Heavy-ball 加速策略和共识协议的无中心化方法，并理论和经验上证明，在各种通信拓扑下都取得了更好的效果。

    Oct, 2020

  • DMAT：一种用于人体去遮挡的动态掩蔽感知变压器

    本文提出了一种动态掩蔽感知变换器（DMAT），用于从遮挡图像中推断不可见的人体部分的外观，解决了人体去遮挡任务，对于人员重新识别和意图推断等与人类相关的任务具有巨大价值。通过设计扩展的卷积头部，并整合多个掩蔽蒙版，提出新颖的动态多头人掩蔽引导注意机制，强调可见的人体部分，利用区域上采样策略减轻插值图像受遮挡的影响，并引入无模损失进行学习，在 AHP 数据集上的广泛实验表明其优于最新的最先进方法。

    Feb, 2024

  • 无线通信与网络的去中心化学习

    本文介绍了针对网络中的图形数据处理的分散式学习算法，通过 ADMM 迭代最小化来得到所需的并行程度，并通过案例研究阐明了分散式学习框架对于当代无线通信和网络任务的影响。

    Mar, 2015

  • DataDAM：高效数据集提炼与注意力匹配

    采用高效的数据集提炼技术 (DataDAM)，通过匹配真实数据和合成数据的不同层级生成的空间关注图，我们在多个数据集上实现了最先进的性能同时降低了训练成本。

    Sep, 2023

  • 基于分散数据通信高效学习深度网络

    Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

    Feb, 2016