Apr, 2023

自适应网络上的压缩回归

PDF
TL;DR本文研究了分布式代理网络解决回归问题的性能及其在通信约束下的自适应能力，采用 ACTC 扩散策略，在邻居代理之间交换的信号中使用随机差分压缩算子进行编码。提供了均方估计误差的详细特征描述，揭示了压缩损失与分布式回归问题的基本属性之间的定量关系，以及优化资源分配的重要性，提出了在线学习的优化参数分配策略，并给出实例验证。
distributed regressionactc diffusion strategycommunication constraintscompression lossoptimized allocation strategy
发现论文，激发创造
  • 分布式和自适应速率特征压缩

    我们研究了分布式和自适应速率的特征压缩问题，通过传感器收集线性回归模型的不同特征，设计了一种特征压缩方案以适应不断变化的通信约束，并通过模拟实验证明了该方案的有效性。

    Apr, 2024

  • 分布式训练的通信压缩技术

    研究如何将通信压缩和分散化技术相结合，以提高分布式学习系统的鲁棒性。作者提出了一种压缩分散训练的框架，并且提出了两种不同的策略，称为外推压缩和差异压缩。通过分析和验证，该算法显著优于仅分散化和仅量化算法。

    Mar, 2018

  • 分布式随机优化中的下限与通信压缩加速算法

    本文研究了利用通信压缩的分布式随机优化算法的性能上限，并提出了 NEOLITHIC 算法，该算法在温和条件下实现所建立的理论下限。

    May, 2023

  • 网络上的多任务扩散适应

    本文介绍了利用扩散策略开发分布式算法解决多任务问题的方法，通过最小化适当的均方误差标准和 L2 正则化共同推断在网络覆盖区域内需要推断的多个最佳参数向量。在本文中，分析了算法在平均值和均方误差意义下的稳定性和收敛性，并进行了模拟以验证理论发现，同时还说明了网络内应用于光谱感应、目标定位和高光谱数据分离的几种有用应用程序。

    Nov, 2013

  • 手风琴：通过关键学习模式识别实现自适应梯度通信

    本文提出一种名为 Accordion 的自适应压缩算法，用于解决分布式模型训练中由于频繁的模型更新导致的通信瓶颈问题，该算法能够在保持最终测试准确度的情况下减少通信，实验结果表明 Accordion 相比于静态压缩算法可获得高达 5.5 倍的压缩率和 4.1 倍的端到端加速。

    Oct, 2020

  • 关于异构数据分布式优化的通信压缩

    本文研究比较了两种标准的数据压缩方法：分布式量化 SGD 和分布式 SGD 反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效的方法和适用于线性压缩器的更通用的方法。

    Sep, 2020

  • 灵活通信实现不确定网络下的最优分布式学习

    梯度压缩通过发送更少的值和对应的索引（通常通过 Allgather）来减轻分布式深度学习中昂贵的通信成本。本文提出了一种与 Allreduce 兼容的 Topk 压缩器，在某些网络配置中比 Allgather 表现更好。我们开发了一种灵活的通信策略，根据当前设置中哪个集合操作最优，切换 AG 和 AR 之间的选择，并将并行效率和统计效率的帕累托关系建模为一个多目标优化问题，以动态调整压缩比并加速训练，同时仍收敛于高准确性。

    Dec, 2023

  • 无偏压缩在分布式优化中节省通信开销的时间和程度

    本文探讨了在分布式优化中，无偏压缩是否降低了总通讯成本，最终给出了条件和理论分析支持独立无偏压缩可以将总通讯成本降低到 O (根号下 min {n,kappa})。

    May, 2023

  • 分布式学习的通信高效差错反馈

    分散学习中受通信限制的算法依赖于局部更新以及压缩信号的交换，本文提出了一种新的分散、通信高效的学习方法，结合了差分量化和误差反馈，在满足低维子空间限制的前提下实现个体风险函数的最小化，实验证明在小步长且有限位数的情况下，可以实现与无压缩情况相当的性能。

    Jun, 2024

  • 关于分布式学习的偏压压缩研究

    研究表明，用于分布式学习的偏置压缩算子可以显著提高通信效率并达到线性收敛率，其性能优于其无偏压缩器。它们可用于随机梯度下降和分布式随机梯度下降，并且存在许多具有良好理论保证和实际性能的新偏置压缩器可供选择。

    Feb, 2020