本文主要研究在边缘计算环境中使用分布式梯度下降学习模型参数的问题，提出控制算法以最小化给定资源预算下的损失函数，并通过真实数据集的大量实验评估算法性能。

Apr, 2018

本研究提出了一种名为 adaComp 的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了 worker 更新模型数据压缩，通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验，并报告相对于标准异步随机梯度下降，在保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级（例如，在 MNIST 数据集上的卷积网络中，减少了 191 倍）

Feb, 2017

本文介绍机器学习技术的发展以及为了应对更加复杂的应用而需要分布式系统来分担机器学习的工作负担，但分布式系统带来的挑战在于高效地并行训练过程和创建一个连贯的模型。文中提供了分布式机器学习领域当前的最新进展和系统概述。

Dec, 2019

通过开发并建立新的方法，KDT NEUROKIT2E 项目旨在为边缘设备上的人工智能应用提供新的开源框架，其中包括量化、剪枝感知训练和稀疏化等创新技术，以显著扩展此类设备的功能范围，利用本地资源来处理复杂的机器学习任务，为创新的学习方法奠定基础。

Nov, 2023

利用 FPGAs 和 AI 加速器，边缘物联网设备实现了计算能力的大幅提升，研究探讨了通过 AI 设备实现分布式数据处理的方法，并提出了在分布式学习环境中管理不确定性的一种新方法，即贝叶斯神经网络。

Mar, 2024

本文提出了一种异步的分布式随机梯度下降算法（AD-PSGD）来解决异构环境下常用的同步算法（如 AllReduce-SGD）和参数服务器 suffer from 的问题，并且在理论分析和经验结果上证明了 AD-PSGD 在异构环境下具有良好的收敛速度和通信效率优势。

Oct, 2017

本文综述了在边缘计算设备上部署机器学习系统的主要研究工作，重点关注了智能边缘系统成功应用中使用的压缩技术、工具、框架和硬件等方面的运营问题。

Jul, 2019

论文介绍了一种利用分布式 GPU 层次结构参数服务器进行深度学习广告系统的方法，旨在解决海量数据、大规模深度网络训练领域所面临的空间和性能上的挑战。通过实验证明，该系统在训练速度和性价比等方面都比 MPI-cluster 架构更加优越。

Mar, 2020

通过使用远程服务器不断训练和调整轻量级模型，EdgeSync 筛选样本以考虑及时性和推理结果，从而提高实时视频分析系统的质量，并且通过测试数据集的评估，相比于现有方法提高了约 3.4%，相对传统方法提高了约 10%。

Jun, 2024

在深度学习、卷积神经网络和大型语言模型的时代，机器学习模型变得越来越复杂，需要大量的计算资源进行推理和训练。为了解决这个挑战，分布式学习已经成为一种关键方法，通过在各种设备和环境中进行并行化来实现。本调查研究对分布式学习的领域进行了探索，涵盖了云端和边缘设置。我们深入研究了数据和模型并行性的核心概念，研究了如何在不同维度和层次上对模型进行分割以优化资源利用和性能。我们分析了针对不同层类型的各种分割方案，包括全连接层、卷积层和循环层，突出了计算效率、通信开销和内存限制之间的权衡。这项调查研究通过比较和对比不同背景下的分布式学习方法，为未来的研究和发展提供了宝贵的见解。

May, 2024