无线网络中的协作学习:介绍性概述
本文主要研究了分布式学习如何在无线边缘网络中高效地部署,主要介绍了联邦学习、联邦蒸馏、分布式推理和多智能体强化学习等多种分布式学习范例,并提供了详细的文献综述和通信技术优化实例,旨在为实际无线通信网络中分布式学习的部署提供个整体指导原则。
Apr, 2021
本文提出使用不同边缘设备间通过通信链接共享数据样本的新设备到设备的数据共享方法,在此设置下,优化了无线电资源分配以减少训练时延,并在数据样本在边缘设备之间非独立且非同分布时增加了训练精度。
Jan, 2020
通过网络设计和资源编排的两个方面讨论了实现可扩展无线联邦学习的挑战和解决方案,并提出了三种面向任务的学习算法来提高算法的可扩展性,实现对无线联邦学习的计算高效资源分配。
Oct, 2023
通过使用一种叫作 Fog learning 的新学习范式,从边缘设备到云服务器中智能地分布机器学习模型的训练,来增强联邦学习的三个重要维度:网络、异构性和邻近性,并考虑由各种接近程度异构设备组成的多层混合学习框架,通过设备到设备(D2D)通信进行协作学习,使其从联邦学习中用于参数传输的星型网络拓扑迁移到更分布式的规模。
Jun, 2020
本文探讨了边缘机器学习的关键构建块,神经网络架构的不同分裂及其内在的权衡,以及来自广泛数学学科的理论和技术促进因素,最终呈现了几个关于各种高风险应用的案例研究,展示了边缘机器学习在发挥 5G 及其以后的全部潜力方面的有效性。
Dec, 2018
在深度学习、卷积神经网络和大型语言模型的时代,机器学习模型变得越来越复杂,需要大量的计算资源进行推理和训练。为了解决这个挑战,分布式学习已经成为一种关键方法,通过在各种设备和环境中进行并行化来实现。本调查研究对分布式学习的领域进行了探索,涵盖了云端和边缘设置。我们深入研究了数据和模型并行性的核心概念,研究了如何在不同维度和层次上对模型进行分割以优化资源利用和性能。我们分析了针对不同层类型的各种分割方案,包括全连接层、卷积层和循环层,突出了计算效率、通信开销和内存限制之间的权衡。这项调查研究通过比较和对比不同背景下的分布式学习方法,为未来的研究和发展提供了宝贵的见解。
May, 2024
该研究探讨了基于设备对设备(D2D)网络的联邦学习,在分布式随机梯度下降算法实现中,利用随机线性编码和空中计算的数字和模拟传输方案进行通信效率的改进,并且在假设凸性和连通性的情况下提供了收敛性结果。
Jan, 2021