Sep, 2023
移动边缘计算中动态编码和解码信息的分割学习: 利用信息瓶颈理论
Dynamic Encoding and Decoding of Information for Split Learning in
Mobile-Edge Computing: Leveraging Information Bottleneck Theory
TL;DR拆分学习是一种隐私保护的分布式学习范式，通过将机器学习模型（例如神经网络）分为编码器和解码器两部分，共享潜在表示进行模型训练。在移动边缘计算中，通过拆分学习可以训练网络功能（如流量预测），其中编码器位于用户设备，解码器位于边缘网络。基于数据处理不等式和信息瓶颈理论，我们提出了一种新的框架和训练机制，实现了传输资源消耗与共享潜在表示的信息量之间的动态平衡，直接影响预测性能。所提出的训练机制提供了一种具有多种复杂性-关联权衡模式的编码器解码器神经网络架构，实现了可调节的性能。适应性可以适应不同的实时网络条件和应用需求，可能减少运营支出并增强网络灵活性。作为一个概念证明，我们将这种训练机制应用于毫米波下行吞吐量预测问题。我们还从信息瓶颈理论的角度提供新的见解，并强调了与循环神经网络相关的一些挑战。有趣的是，我们发现在时序模型的时间域中存在压缩现象，除了随训练轮次的压缩阶段。