- vqSGD: 向量量化随机梯度下降
本文提出了一种名为 vqSGD 的向量量化方法，具有渐近通信成本降低和在分布式优化中具有收敛性保证的特点，并支持隐私保护。该方法基于点集的凸壳，并提供了多个高效实例，通过应用二进制纠错码的特性，平滑地平衡量化通信和估计误差之间的权衡。通过使 - SAFA: 一种针对低开销的快速联邦学习的半同步协议
本文提出 SAFA 半异步联邦学习协议，通过在模型分发、客户端选择和全局聚合的步骤中引入新设计来缓解滞后、崩溃和模型陈旧的影响，以提高效率和改善全局模型的质量，从而在通信成本可接受的情况下缩短联邦循环时间、减少本地资源浪费、提高全局模型的准 - IJCAI更快的分布式深度神经网络训练：计算和通信解耦合的随机梯度下降
本文提出了 Computation and Communication Decoupling Stochastic Gradient Descent (CoCoD-SGD) 算法，实现了计算和通信的并行处理，有效减少了通信开销，较传统分布式 - SIGIR区块分布式梯度提升树
提出了基于块的分布式梯度提升树算法（GBT），以解决传统分布式 GBT 算法中针对数据点而非特征的可扩展性问题。该算法针对数据稀疏性和数据特征进行了定制，通过适应 Quickscorer 算法在块分布式设置中的使用，可在稀疏数据中实现通信成 - 基于草图的高效分布式 SGD 算法
本论文提出了一种名为 Sketched SGD 的算法，通过传递梯度草图而不是完整梯度来执行分布式 SGD，与其他梯度压缩方法相比，Sketched SGD 通过减少通信次数将通信成本降低了约 40 倍，同时不影响最终模型性能。
- MM分布式随机梯度追踪方法
本文研究了分布式多智能体优化问题，其中每个智能体拥有一个光滑和强凸的本地代价函数。在仅具有本地代价函数梯度的无偏估计时，我们提出了一种分布式随机梯度跟踪方法（DSGT）和一种类似于 Gossip 的随机梯度跟踪方法（GSGT），并展示了这些 - 稀疏二进制压缩：实现最小通讯的分布式深度学习
本文提出了一种基于稀疏二进制压缩（SBC）的通信框架，结合了通信延迟、梯度稀疏化和权重更新编码的方法来显著减少分布式训练的通信成本，并可以平衡梯度稀疏性和时间稀疏性以适应学习任务需求，实验表明在不明显降低正向和反向传递速度的情况下，基于 S - 脑网络的一系列路由策略
本文研究了复杂网络中信号节点之间的通信效率和成本问题，并引入了一种随机模型来结合关于网络拓扑的本地和全局信息，从而产生连续谱的动态，其中包括最短路径和随机游走通信过程。接着，我们在人类连接组网络的两个组别上实现了该模型，并研究了不同程度本地 - 具有快速收敛和高效通信的联邦元学习
本文提出了一个联邦元学习框架 FedMeta，其中共享参数化算法而非全局模型以解决分布式移动设备网络中训练机器学习模型的统计和系统挑战，并在数据集上进行广泛实证研究，结果显示 FedMeta 相比于联邦平均 FedAvg 能够在 2.82- - 高维线性分类的特征分布式 SVRG
本论文提出了一种名为 FD-SVRG 的新型分布式学习方法，用于高维线性分类，通过特征分布式而不是实例分布式，可以在通信成本和墙钟时间方面优于其他最先进的分布式方法。
- 通信计算高效的梯度编码
该论文提出了一种编码技术，以减少分布式学习任务的运行时间，并基于递归多项式结构提出了一种编码方案，优化了梯度计算的运行时间，同时保持相同泛化误差。
- 联邦多任务学习
本文研究了在分布式设备网络上训练机器学习模型所面临的统计和系统挑战，提出了一种适用于多任务学习的优化方法 MOCHA，并在考虑通信成本、慢设备和容错性等实际系统问题的前提下，实现了比替代方法更显著的加速效果。
- 分散式演算法是否能超越中央集中式演算法？以分散式平行隨機梯度下降為例的個案研究
本文研究了去中心化 PSGD 算法的理论复杂度，表明相比于其优化的集中式对应物，去中心化算法在低带宽或高延迟网络配置中可以快上一个数量级，并且需要更少的通信成本。
- 大规模神经网络训练中的高效通信
本研究提出了一种名为 Linear Pipelining（LP）的新型集合操作技术，用于在神经网络的并行训练中降低通信成本。 对 BSP-SGD 等现有方法进行了改进，并在实践中证明该方法降低了通信瓶颈，同时保持 BSP-SGD 吸引人的收 - QSGD: 通过梯度量化和编码实现通信高效的 SGD
提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。
- 矩阵隐式函数的分布式低秩逼近
本研究探讨了分布式低秩逼近，其中需要只隐含地跨不同服务器表示逼近的矩阵。研究表明，在宽泛的函数 f 类别中，可以高效计算一个低秩映射矩阵 P，以满足通信成本为 d∙(sk/ε)^O (1)，且算法成功概率高，并可将其用于计算入门型 soft - 通过分布式数据处理不等式推导统计估计问题的通信下界
本文研究了高维分布统计估计问题的统计误差和通信成本之间的权衡，并提供了分布式稀疏高斯均值估计问题的紧密的权衡分析结果，这直接导致了分布式稀疏线性回归问题的下界，并给出了在稠密情况下均值估计的第一个最优同时协议。
- 改进的分布式主成分分析
本文研究具有多台服务器的分布式计算环境，通过开发 PCA 算法来处理点集的低维子空间问题，进而解决异常检测以及聚类等计算问题，提出的新算法显著降低了 $k$-means 聚类与相关问题的计算以及通讯成本，并且经过实验验证，在解决方案质量方面 - NIPS分布式统计估计和维度的通信成本
探索分布式学习中维度和沟通成本之间的关系，研究估计未知高维高斯分布均值的问题。同时，提出了一个基于阈值的协议，可在保证相同平方损失的前提下节省通信开销。
- Map-Reduce 计算成本的上下界
本文探讨了在 map-reduce 计算中并行性和通信成本之间的权衡问题，并引入了单轮 map-reduce 计算问题的模型，以发现以分配给一个缩小器的最大输入数为函数的通信成本下界。作者对三个问题进行了分析：找到两个距离为 $d$ 的字符