May, 2024

MEC 辅助下的智能混合资源分配在 RAN 切片网络中

PDF
TL;DR通过考虑多节点计算资源的协作分配、传输资源块（RB）的分配以及系统的时变动态性，本文旨在通过联合考虑提出一种适用于合作 MEC 辅助的 RAN 切片系统中异构服务需求的最大 SSR 的方法。对系统进行抽象并使用循环图强化学习算法来智能地学习最佳混合 RA 策略，利用图神经网络（GCN）和深度确定性策略梯度（DDPG）有效地提取等效拓扑图的空间特征。此外，还设计了一种新的时间循环强化学习框架，将先前时刻策略网络的动作输出整合到后续时刻策略网络的状态输入中，以适应时变和上下文网络环境。此外，我们探讨了两种使用案例场景，以讨论所提出的 RGRL 算法的普遍优越性。仿真结果表明，所提出的算法在平均 SSR、性能稳定性和网络复杂性方面具有优势。
ssrheterogeneous service demandsmec-assisted ran slicing systemreinforcement learninggraph neural network
发现论文，激发创造
  • 使用 GAN 的深层分布式强化学习进行网络切片的资源管理

    本文介绍了如何使用深度强化学习（DRL）解决无线接入网络中多个切片共享物理资源，且包含多种不同要求的服务，针对此类场景中的需求感知资源分配问题，作者提出了一种基于生成式对抗网络（GAN）和 DDQN 算法的切片联网资源优化方法。实验表明，所提出的算法可以有效地提高网络切片的资源利用率和服务性能。

    May, 2019

  • 协作边缘计算系统中的联合服务缓存、通信和计算资源分配：基于深度强化学习的双时间尺度方法

    通过多维资源的资源共享、服务缓存、深度强化学习等方面的联合优化，我们提出了一种协同多接入边缘计算（MEC）框架，旨在最大化长期的服务质量（QoS）并降低缓存切换成本。通过改进的遗传算法（GA）和基于长短期记忆网络的深度确定性策略梯度（LSTM-DDPG）组成的深度强化学习（DRL）的双时间尺度方案（DGL-DDPG），我们将优化问题转化为马尔可夫决策过程（MDP），以实现大时间尺度上的服务缓存决策。仿真结果表明，我们提出的算法在平均 QoS 和缓存切换成本方面优于基准算法。

    Jul, 2023

  • O-RAN 中网络切片的高效资源分配的半监督学习方法

    我们提出了一种创新的方法，旨在协调 Open Radio Access Network（O-RAN）中的多个独立 xAPPs，以实现网络切片和资源分配，并优化用户设备（UE）之间的加权吞吐量和物理资源块（PRB）的分配。通过设计 power control xAPP 和 PRB allocation xAPP，我们的方法通过监督学习和无监督学习的组合实现了高效的网络切片问题解决方案。与其他方法相比，我们的方法在不同场景中展现出更高的性能和效果。

    Jan, 2024

  • 基于深度强化学习和图神经网络的光可组合数据中心网络感知计算和内存分配

    采用深度强化学习方法，通过图神经网络模型实现网络资源的分配，该方法比现有的最佳启发式算法达到更高的接受率；即使在未适当训练的情况下，可以在规模比训练时大 $10^2$ 倍的数据中心网络中保持高性能。

    Oct, 2022

  • 切片雾计算射频接入网络中的模式选择和资源分配：一种强化学习方法

    本文研究了雾射频接入网络（F-RAN）中的模式选择和资源分配，并采用混合整数规划方法优化性能。此外，基于机器学习的强化学习算法用于解决原始高复杂性问题。最终的仿真结果表明，我们提出的算法可以在系统功耗和队列延迟之间实现权衡。

    Feb, 2020

  • 应对异构资源需求和时变流量动态的网络切片深度强化学习

    本研究提出了一种基于深度强化学习的网络分片动态资源分配问题解决方案，模拟数据和真实负载驱动跟踪的模型评估表明，相比于基准均等分片策略，我们的解决方案提高了总资源利用率，降低了时延性能，并满足了更多的需求。

    Aug, 2019

  • 无线认知网络中的多智能体混合 SAC 算法实现联合 SS-DSA

    通过利用混合软行为者评论家算法的多智能体强化学习方法，实现了动态频谱访问中联合频谱感知和资源分配的优化，以最大化网络的通信速率，并在实验中验证了该算法在增加频谱资源利用率、限制对主网络干扰方面优于现有技术。

    Apr, 2024

  • 无线 MEC 网络中动态资源分配的安全深度强化学习

    本文提出了一个基于区块链安全的深度强化学习优化框架，用于分散的无线移动边缘计算网络中的数据管理和资源分配。我们设计了一种低延迟的基于声誉的股权证明共识协议，用于选择高可靠的区块链启用的基站，以安全存储移动边缘计算用户请求并防止数据篡改攻击。我们将移动边缘计算资源分配优化建模为一个约束的马尔可夫决策过程，以平衡最小处理延迟和拒绝服务概率。我们使用移动边缘计算汇总特征作为深度强化学习的输入，显著减少了剩余服务处理时间的高维输入。我们的设计的约束深度强化学习有效地获得适应动态拒绝服务要求的最佳资源分配。我们提供了大量的仿真结果和分析来验证我们的区块链安全的深度强化学习框架比基准区块链共识协议和移动边缘计算资源分配算法更具有更高的安全性、可靠性和资源利用率。

    Dec, 2023

  • O-RAN 动态切片管理的演化深度强化学习

    本文介绍了一种新的管理网络切片的框架，该框架使用了基于演化的深度强化学习 (EDRL) 方法，将 O-RAN 切片表示为马尔可夫决策过程 (MDP)，并通过对资源分配的最优解来满足服务需求，模拟结果表明，所提出的方法比 DRL 基线提高了 62.2% 的服务质量。

    Aug, 2022

  • 5G 及其后续版本中 eMBB 和 URLLC 共存的智能资源分配：基于深度强化学习的方法

    本文研究了两个不同的 5G 服务，即 Ultra-Reliable Low Latency Communications（URLLC）和 enhanced Mobile BroadBand（eMBB）在动态多路复用场景下的资源切片问题。通过优化问题的形式化，提出了一种基于深度强化学习的资源分配算法，以最大化 eMBB 数据速率并满足 URLLC 可靠性约束，避免 URLLC 流量对 eMBB 可靠性造成的瞬时影响。模拟结果显示，该方法能够满足严格的 URLLC 可靠性要求，同时使 eMBB 的可靠性保持在 90％以上。

    Mar, 2020