May, 2024

蛇形学习：6G 通信与计算高效分布式学习框架

PDF
TL;DR本研究介绍了一种成本效益高的分布式学习框架 Snake Learning，它在 6G 网络中考虑了计算能力的异构性和本地数据分布，通过逐层更新机制显著降低了存储、内存和通信需求，在计算机视觉和大型语言模型任务中展现了出色的适应性和效率。
发现论文，激发创造
  • 无线网络上通信高效的分布式学习原理与应用

    该研究论文总结了与机器学习相关的通信和 ML 原则，并提出了具有选定用例的通信高效和分布式学习框架。

    Aug, 2020

  • 面向 6G 通信的联邦学习：挑战，方法和未来发展

    本文介绍了 6G 通信与联邦学习的集成，并提供了联邦学习在 6G 通信中的潜在应用，描述了联邦学习在 6G 通信中的关键技术挑战、对应的联邦学习方法和未来研究的开放性问题。

    Jun, 2020

  • 异构 6G 网络联邦学习的优化设计

    本文研究如何通过三个方面的优化措施 —— 激励机制设计、网络资源管理和个性化模型优化，有效解决分布式人工智能范例中面临的系统和统计异构挑战，从而实现对第六代网络中亿万智能物联网设备所产生数据的联合学习和隐私保护。

    Mar, 2023

  • 6G 边缘网络中的分布式学习

    本文主要介绍了在 6G 移动网络时代，如何将分布式边缘计算资源与联邦学习相结合，并引入分裂学习以处理海量资源受限的物联网设备，重点讨论边缘分裂学习及其在多边缘协作与移动管理中的设计问题与待解决的开放性问题。

    Jun, 2023

  • 分布式学习与 6G 的通信与计算视角

    本文概述了分布式学习和联邦学习模型如何帮助实现 6G 网络的关键绩效指标，重点介绍了联邦学习在无线应用中的应用。并结合多智能体强化学习解决动态频谱接入问题并给出了初步评价结果。文章还强调了应用 DL 方法于 6G 网络所面临的挑战。

    Mar, 2023

  • 分布式边缘物联网的群体学习

    研究论文通过探索分布式群集学习（DSL）这一新颖框架，结合了人工智能和生物群体智能，以解决物联网在无线网络边缘面临的通信和计算瓶颈、设备和数据异构性、安全风险、隐私泄露、非凸优化和复杂无线环境等问题。该框架为无线网络边缘的大规模物联网提供了高效解决方案和强大工具。

    Mar, 2024

  • 推进 6G 中的联邦学习：基于图形分析的可信架构

    利用分布式账本技术和图神经网络构建的受信任的体系结构，解决了 6G 环境下联邦学习的挑战，包括隐私保护和安全问题，并验证了其在异常模型检测和全局模型准确性方面相对于相关基准的性能提升。

    Sep, 2023

  • Swarm Learning：概念、应用与趋势综述

    Swarm Learning is a decentralized machine learning framework that leverages blockchain technology to address privacy and security concerns in deep learning models by reducing central dependency, increasing scalability, and enabling secure and private data management.

    May, 2024

  • 高效通信的大规模分布式深度学习综述

    这篇文章调查了 2018 年至 2023 年期间关于算法和技术的文献，旨在实现大规模分布式深度学习中的高效通信，包括算法、框架和基础设施。具体而言，我们首先介绍了在大规模分布式训练中模型同步和通信数据压缩方面的高效算法。接下来，我们介绍了与分布式训练和推理中资源分配和任务调度相关的高效策略。此后，我们介绍了现代通信基础设施中使用的最新技术，重点研究了大规模和异构环境下通信开销的影响。最后，我们通过对大规模语言模型的分布式训练进行案例研究，展示了如何在实际情况中应用这些技术。这篇文章旨在为研究人员提供对大规模分布式深度学习的现状全面的理解，并揭示在这一领域中通信高效解决方案的有希望的未来研究方向。

    Apr, 2024

  • 面向 6G 的联邦学习：应用、挑战和机遇

    该研究论文探讨在 6G 无线电信网络中采用联邦学习技术的应用，主要关注于联邦学习在无线通信中的挑战与问题，以及如何实现该技术。

    Jan, 2021