Jul, 2023

协作边缘计算系统中的联合服务缓存、通信和计算资源分配：基于深度强化学习的双时间尺度方法

PDF
TL;DR通过多维资源的资源共享、服务缓存、深度强化学习等方面的联合优化，我们提出了一种协同多接入边缘计算（MEC）框架，旨在最大化长期的服务质量（QoS）并降低缓存切换成本。通过改进的遗传算法（GA）和基于长短期记忆网络的深度确定性策略梯度（LSTM-DDPG）组成的深度强化学习（DRL）的双时间尺度方案（DGL-DDPG），我们将优化问题转化为马尔可夫决策过程（MDP），以实现大时间尺度上的服务缓存决策。仿真结果表明，我们提出的算法在平均 QoS 和缓存切换成本方面优于基准算法。
multiaccess edge computingqosresource sharingservice cachingdeep reinforcement learning
发现论文，激发创造
  • 基于深度强化学习的车联网边缘计算多接入调度

    利用无人机辅助多智能体图卷积深度强化学习算法，实现车道上物联网设备最大化的用户体验，并在仿真中取得了良好的性能。

    Feb, 2022

  • 多接入边缘计算中的服务器放置和工作负载分配强化学习框架

    本研究提出了一种使用强化学习解决最小化网络延迟和边缘服务器数量的问题的新 RL 框架，该问题涉及云计算、多接入边缘计算、组合优化问题和马尔可夫决策过程。

    Feb, 2022

  • 无线 MEC 网络中动态资源分配的安全深度强化学习

    本文提出了一个基于区块链安全的深度强化学习优化框架，用于分散的无线移动边缘计算网络中的数据管理和资源分配。我们设计了一种低延迟的基于声誉的股权证明共识协议，用于选择高可靠的区块链启用的基站，以安全存储移动边缘计算用户请求并防止数据篡改攻击。我们将移动边缘计算资源分配优化建模为一个约束的马尔可夫决策过程，以平衡最小处理延迟和拒绝服务概率。我们使用移动边缘计算汇总特征作为深度强化学习的输入，显著减少了剩余服务处理时间的高维输入。我们的设计的约束深度强化学习有效地获得适应动态拒绝服务要求的最佳资源分配。我们提供了大量的仿真结果和分析来验证我们的区块链安全的深度强化学习框架比基准区块链共识协议和移动边缘计算资源分配算法更具有更高的安全性、可靠性和资源利用率。

    Dec, 2023

  • 多目标深度强化学习用于移动边缘计算

    通过设计的多目标 (深度) 强化学习 (MORL) 资源调度方案，结合了近端策略优化 (PPO) 方法以解决多目标边缘计算系统下未知偏好的问题，本研究在能源消耗与传输延迟最小化的前提下，通过多边缘 MEC 系统中多目标离线问题进行建模与解决。

    Jul, 2023

  • 边缘计算中基于数字孪生辅助的资源感知微服务卸载的强化学习

    我们提出了一种基于深度强化学习和数字孪生技术的新型微服务卸载算法 DTDRLMO，该算法利用数字孪生技术实时预测和适应协作边缘计算环境的负载和网络条件，从而为每个微服务选择最合适的边缘节点，优化服务完成时间。在真实和合成数据集上的模拟结果表明 DTDRLMO 在平均服务完成时间方面优于启发式和基于学习的方法。

    Mar, 2024

  • 基于贝叶斯框架的深度强化学习在联合 O-RAN/MEC 协同管理中的应用

    提出了一种基于贝叶斯深度强化学习框架的联合 O-RAN/MEC 编排，用于控制 O-RAN 功能分割、分配资源和主机位置、O-RAN/MEC 数据流的路由，以最小化长期网络操作成本并最大化 MEC 性能指标。

    Dec, 2023

  • MEC 辅助下的智能混合资源分配在 RAN 切片网络中

    通过考虑多节点计算资源的协作分配、传输资源块（RB）的分配以及系统的时变动态性，本文旨在通过联合考虑提出一种适用于合作 MEC 辅助的 RAN 切片系统中异构服务需求的最大 SSR 的方法。对系统进行抽象并使用循环图强化学习算法来智能地学习最佳混合 RA 策略，利用图神经网络（GCN）和深度确定性策略梯度（DDPG）有效地提取等效拓扑图的空间特征。此外，还设计了一种新的时间循环强化学习框架，将先前时刻策略网络的动作输出整合到后续时刻策略网络的状态输入中，以适应时变和上下文网络环境。此外，我们探讨了两种使用案例场景，以讨论所提出的 RGRL 算法的普遍优越性。仿真结果表明，所提出的算法在平均 SSR、性能稳定性和网络复杂性方面具有优势。

    May, 2024

  • dRG-MEC：面向 MEC 启用的云网络的分散增强绿色卸载

    我们提出了一种优化资源利用的技术，实现联合计算卸载以减少总计算和通信开销，并构建一个绿色环境。与基准方案相比，我们的技术将总系统成本减少了 37.03%。

    Jan, 2024

  • 组合式客户端 - 主节点多智能体深度强化学习在移动边缘计算中的任务卸载

    近年来，移动应用程序的爆发性增长引起了人们的关注，但用户设备在处理计算需求方面存在局限性。移动边缘计算作为应对用户设备不断增长的计算需求的一项有前途的技术，通过在用户设备和移动边缘计算服务器之间分配任务来满足用户设备的需求。深度强化学习在任务卸载问题中受到关注，因为它能够适应动态变化并减少在线计算复杂性。然而，用户设备和移动边缘计算服务器上的各种连续和离散资源约束给有效基于深度强化学习的任务卸载策略的设计带来了挑战。我们提出了一种新颖的组合客户端 - 主控深度强化学习算法（CCM_MADRL_MEC），用于移动边缘计算中的任务卸载，使得用户设备能够决定其资源需求，并使服务器基于用户设备的需求做出组合决策。CCM_MADRL_MEC 是任务卸载中首个考虑服务器存储容量以及用户设备约束的多智能体深度强化学习算法。通过利用组合动作选择，CCM_MADRL_MEC 相对于现有的多智能体深度确定性策略梯度算法和启发式算法具有更好的收敛性。

    Feb, 2024

  • 基于深度学习的混合 MEC 网络联合资源调度算法

    本文旨在提出一种基于深度学习和优化算法的混合式移动边缘计算方案，包含地面站、地面车辆和无人机，通过实时联合优化地面车辆和无人机的位置、用户关联和资源分配，以达到在线减少 UE 设备的能耗。

    Nov, 2019