移动边缘计算中动态编码和解码信息的分割学习：利用信息瓶颈理论

Sep, 2023

移动边缘计算中动态编码和解码信息的分割学习：利用信息瓶颈理论

Dynamic Encoding and Decoding of Information for Split Learning in Mobile-Edge Computing: Leveraging Information Bottleneck Theory

PDF

Omar Alhussein, Moshi Wei, Arashmid Akhavain

TL;DR拆分学习是一种隐私保护的分布式学习范式，通过将机器学习模型（例如神经网络）分为编码器和解码器两部分，共享潜在表示进行模型训练。在移动边缘计算中，通过拆分学习可以训练网络功能（如流量预测），其中编码器位于用户设备，解码器位于边缘网络。基于数据处理不等式和信息瓶颈理论，我们提出了一种新的框架和训练机制，实现了传输资源消耗与共享潜在表示的信息量之间的动态平衡，直接影响预测性能。所提出的训练机制提供了一种具有多种复杂性 - 关联权衡模式的编码器解码器神经网络架构，实现了可调节的性能。适应性可以适应不同的实时网络条件和应用需求，可能减少运营支出并增强网络灵活性。作为一个概念证明，我们将这种训练机制应用于毫米波下行吞吐量预测问题。我们还从信息瓶颈理论的角度提供新的见解，并强调了与循环神经网络相关的一些挑战。有趣的是，我们发现在时序模型的时间域中存在压缩现象，除了随训练轮次的压缩阶段。

Abstract

split learning is a privacy-preserving distributed learning paradigm in which an ML model (e.g., a neural network) is split into two parts (i.e., an encoder and a decoder). The encoder shares so-called latent representation, rather than raw data, for model training. In mobile-edge comp

split learning latent representations encoder-decoder neural network real-time network conditions millimeter-wave throughput prediction

发现论文，激发创造

面向带宽和资源受限的物联网系统的灵活分割 DNN 的精简编码器

在边缘计算和分布式计算的背景下，通过使用基于可改变编码器的分层执行，我们提出了一种创新的拆分计算方法，该方法可以实时适应计算负载和传输的数据大小，而不会对移动设备造成太大的计算负荷，从而提高了压缩效率和执行时间。

Jun, 2023

高效的深度边缘智能动态分割计算

本研究提出了一种基于动态选择拆分位置的动态拆分计算模型，通过利用现代深度神经网络结构中已有的瓶颈，避免了重新训练和超参数优化，并没有对深度神经网络的最终准确性产生任何负面影响。大量实验证明，动态拆分计算模型在边缘计算环境中可以实现更快的推理。

May, 2022

网络边缘的深度学习架构

通过适用于边缘云资源的自适应压缩感知裂化学习方法，我们可以改善和训练深度学习模型，使其在网络上更加高效，并通过变换学习方法扩展训练，以换取更高效的推理能力，而不损失准确性。

Nov, 2023

边缘计算中无线 LLM 推理的自适应分层切割：基于模型的强化学习方法

通过模型驱动的强化学习方法，该研究在边缘计算环境中最优化部署大型语言模型，提高隐私和计算效率，减少计算成本，并在分散式环境中实现了推理性能和计算负载的平衡。

Jun, 2024

6G 边缘网络中的分布式学习

本文主要介绍了在 6G 移动网络时代，如何将分布式边缘计算资源与联邦学习相结合，并引入分裂学习以处理海量资源受限的物联网设备，重点讨论边缘分裂学习及其在多边缘协作与移动管理中的设计问题与待解决的开放性问题。

Jun, 2023

离散键 - 值瓶颈

该论文提出了一种建立在离散瓶颈基础上的新方法来解决深度神经网络在连续学习中出现的灾难性遗忘问题，利用离散的键值对更加针对性地更新模型权重，实现有效减少灾难性遗忘。

Jul, 2022

适应能量受限的无线边缘网络的自适应分割学习

我们设计了一种自适应分裂学习（ASL）方案，该方案可以在无线边缘网络中为设备动态选择分裂点并为服务器分配计算资源，以减少训练延迟和能量消耗。采用在线算法 OPEN 和两层优化方法解决优化问题，该方案相比现有的分裂学习方案，平均减少了 53.7% 的训练延迟和 22.1% 的能量消耗。

Mar, 2024

无线通信网络中加速的分裂式联邦学习

本文介绍了一种模型分区 / 切割的方法，将深度神经网络切分为两个部分，分别在设备和服务器上进行联合训练和联合推理，旨在通过交替优化解决划分点选择和带宽分配问题，以最小化系统的延迟

Oct, 2023

SplitPlace: 移动边缘环境中大规模神经网络的 AI 增强分裂和放置

这篇论文提出了一种基于强化学习的 AI 策略 SplitPlace，可以智能决策基于边缘计算的需求，采用分层或语义分割策略，对神经网络进行分割并将其部署在资源受限的移动边缘设备上，实现高效可扩展的计算。实验表明，SplitPlace 可以显著提高平均响应时间、截止日期违规率、推断准确度和总奖励达 46％，69％，3％和 12％。

May, 2022

Split-and-Bridge：单神经网络中可适应的类增量学习

在这篇论文中，我们提出了一种名为 Split-and-Bridge 的新型持续学习方法，它通过部分分割神经网络进行新任务的训练，然后重新连接来学习任务间的知识，可以成功地解决 Deep Learning 社区中持续学习的主要问题之一，即如何在不遗忘以前任务的知识的情况下有效地学习一系列新到来的任务。

Jul, 2021