本研究提出了一种名为 Linear Pipelining（LP）的新型集合操作技术，用于在神经网络的并行训练中降低通信成本。 对 BSP-SGD 等现有方法进行了改进，并在实践中证明该方法降低了通信瓶颈，同时保持 BSP-SGD 吸引人的收敛属性。

Nov, 2016

本文提出了一种基于学习的通信方案，综合优化特征提取，源编码和信道编码，采用变分信息瓶颈框架构建可行的上界，使用稀疏诱导分布作为变分先验，提高边缘设备和强大边缘服务器的传输性能和速度。

Feb, 2021

研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。

Feb, 2019

本文提出了一种有效的边缘计算推理方法，并探讨了在设备模型的计算成本和中间特征的通信成本之间进行的关键权衡。通过模型拆分点选择、通信感知模型压缩和任务导向的中间特征编码，提出了一个三步框架来有效地进行推理，实验结果表明，与基准方法相比，我们的提出的框架具有更好的权衡，可以显著减少推理延迟。

Jun, 2020

本文提出了 Computation and Communication Decoupling Stochastic Gradient Descent (CoCoD-SGD) 算法，实现了计算和通信的并行处理，有效减少了通信开销，较传统分布式 SGD 算法具有更高的时间加速度，在 16 个 GPU 上的 ResNet18 和 VGG16 深度神经网络训练表现出 2-3 倍的速度提升。

Jun, 2019

本文提出了一种基于任务导向的通信方案以减少多设备合作边缘推理中的通信开销与延迟，并通过信息瓶颈原理提取与任务相关的特征并采用分布式信息瓶颈框架来对分散的特征进行编码。通过对多个设备传输的信息进行冗余性分析并采用可变近似来解决计算的复杂性问题，该方案比基线方法更好地平衡了传输效率与推理能力的关系。

Sep, 2021

本篇论文主张采用通信启发式方法来设计机器学习系统，分别采用确定性和随机性版本。采用此方法可以充分利用机器学习算法和应用，以解决其在能量受限制平台上部署时面临的挑战。

Oct, 2016

该研究论文总结了与机器学习相关的通信和 ML 原则，并提出了具有选定用例的通信高效和分布式学习框架。

Aug, 2020

本文研究了分布式优化方法在深度学习中的应用，发现分布式动量随机梯度下降在性能、通讯效率方面存在一定优势，并证明其拥有与分布式随机梯度下降相同的线性加速性质。

May, 2019

该论文提出了一种编码技术，以减少分布式学习任务的运行时间，并基于递归多项式结构提出了一种编码方案，优化了梯度计算的运行时间，同时保持相同泛化误差。

Feb, 2018