Dec, 2019

分布式机器学习调查

PDF
TL;DR本文介绍机器学习技术的发展以及为了应对更加复杂的应用而需要分布式系统来分担机器学习的工作负担，但分布式系统带来的挑战在于高效地并行训练过程和创建一个连贯的模型。文中提供了分布式机器学习领域当前的最新进展和系统概述。
artificial intelligencemachine learningdistributed systemstraining dataneural networks
发现论文，激发创造
  • 从分布式机器学习到分布式深度学习的调查

    本文就分布式机器学习算法进行了全面的调研，综述了当前的技术发展前景和所存在的限制。

    Jul, 2023

  • 云、移动和边缘环境中的分布式学习综述

    在深度学习、卷积神经网络和大型语言模型的时代，机器学习模型变得越来越复杂，需要大量的计算资源进行推理和训练。为了解决这个挑战，分布式学习已经成为一种关键方法，通过在各种设备和环境中进行并行化来实现。本调查研究对分布式学习的领域进行了探索，涵盖了云端和边缘设置。我们深入研究了数据和模型并行性的核心概念，研究了如何在不同维度和层次上对模型进行分割以优化资源利用和性能。我们分析了针对不同层类型的各种分割方案，包括全连接层、卷积层和循环层，突出了计算效率、通信开销和内存限制之间的权衡。这项调查研究通过比较和对比不同背景下的分布式学习方法，为未来的研究和发展提供了宝贵的见解。

    May, 2024

  • 现代机器学习的景观：机器学习，分布式学习和联邦学习的综述

    现代机器学习的综述，包括高级算法、应用和框架，介绍了并行分布式学习、深度学习和联邦学习等内容。

    Dec, 2023

  • 从分布式机器学习到联邦学习：一项调查

    通过对联邦学习的现有作品进行全面调查，提出功能框架和分类学相关技术，以及联邦学习系统的分布式培训，数据通信和安全性。

    Apr, 2021

  • 走向地理分布式机器学习

    该论文介绍了一种名为 GDML 的新型学习问题，旨在解决全球分布式数据的学习问题，提出了一种新的方法进行地理分布式培训，可同时应对法规制约和隐私等问题，并在三个真实数据集上进行了实证评估。

    Mar, 2016

  • 规模安全分布式训练

    本文提出了一种新颖的协议，用于安全的（拜占庭容错）分散式训练，强调通信效率。

    Jun, 2021

  • 多智能体下分布式深度神经网络学习

    提出了一种基于跨数据源的深度神经网络训练技术，旨在解决在健康医疗和金融等领域中标记数据和计算资源的短缺问题，并可以在数据敏感应用程序中进行分布式训练。

    Oct, 2018

  • 利用边缘到云的连续性在分散数据上实现可扩展机器学习

    本文介绍了边缘计算智能（如边缘人工智能 / 机器学习）的应用和挑战，为解决现有方法存在的采用障碍，提出了一种基于模型为中心的设计，以建立分散体系结构下的高效协作学习。

    Jun, 2023

  • 可扩展、分布式 AI 框架：利用云计算提高深度学习性能和效率

    本文全面研究了利用云计算的可扩展和分布式人工智能框架以提高深度学习性能和效率的关键方面，包括数据存储和管理、优化策略、模型部署与服务等，并讨论了云计算人工智能的挑战、限制和未来研究方向。

    Apr, 2023

  • 无线网络中的分布式学习：最近进展与未来挑战

    本文主要研究了分布式学习如何在无线边缘网络中高效地部署，主要介绍了联邦学习、联邦蒸馏、分布式推理和多智能体强化学习等多种分布式学习范例，并提供了详细的文献综述和通信技术优化实例，旨在为实际无线通信网络中分布式学习的部署提供个整体指导原则。

    Apr, 2021