MMJun, 2022

面向成本和时延敏感的虚拟网络功能部署和路由的多智能体深度强化学习

PDF
TL;DR本文提出了一种基于多智能体深度强化学习的有效而新颖的方法，用于解决联合虚拟网络功能（VNF）部署和路由问题，该问题涉及多个不同需求的服务请求同时交付，并通过其延迟和成本敏感因素反映服务请求的不同需求，提出了基于参数移植的模型重新训练方法来处理网络拓扑发生更改的情况。
multiagent deep reinforcement learningvirtual network function placementroutingdelay-sensitive factorscost-sensitive factors
发现论文，激发创造
  • SDWN 中基于多智能体深度强化学习的智能组播路由方法

    本文提出了一种基于多智能体深度强化学习的新型组播路由方法，该方法应用于软件定义的无线网络环境中，灵活配置网络并获得网络状态信息。使用单跳动作策略和奖励函数解决多智能体合作下的多个子问题，并采用分散式训练方法相结合的迁移学习机制来加速收敛并提高吞吐量、延迟、丢包率等性能，模拟实验表明 MADRL-MR 方法可以建立更智能的组播路由。

    May, 2023

  • 信号路网中交通信号控制和车辆路径的多智能体深度强化学习的联合优化

    为了缓解城市交通拥堵问题并提高交通效率，本文提出了一种联合优化方法，使用多智能体深度强化学习（MADRL）来进行交通信号控制和车辆路由的信号化道路网络。通过建立代理之间的联系和共享观察和奖励，促进了代理之间的交互和合作，增强了个体训练。数值实验表明，我们的信号控制和车辆路由的集成方案在提高交通效率方面优于单独控制信号时间或车辆路线。

    Oct, 2023

  • 多智能体深度强化学习（MADRL）遇见多用户 MIMO 系统

    本文提出了一种 MADRL 的方法，即采用 MA-DDPG 框架，在有多个决策制定者并且这些决策制定者只能观测到部分环境信息，且存在多维度动作空间的情况下，在多输入单输出干扰信道系统中联合优化预编码器，来实现可实现速率区域的边界，同时提出了一种解决相位歧义问题的训练方法（PAE），模拟结果表明这种方法在 MISO IFC 系统中可以学习到近乎最优的预编码策略，并且这是第一篇在多个蜂窝、多用户、多天线系统中证明 MA-DDPG 框架可以联合优化预编码器以达到可实现速率区域的边界的研究。

    Sep, 2021

  • 通过自适应图形的无线网络中的多智能体强化学习功率控制

    无线网络中的动态优化策略是一个重要的研究领域，本文提出了一种使用图神经网络的方法，将分布式代理之间的动态相互作用建模，并在网络优化问题中实现了较好的泛化能力验证

    Nov, 2023

  • 联合优化部分卸载和 SFC 映射：一种合作的双代理深度强化学习方法

    本研究使用深度强化学习算法解决在 NFV-enabled MEC 环境下的部分卸载和服务功能链映射问题，旨在在执行延迟，移动设备的能量消耗和边缘计算的使用费用方面优化。研究结果表明，所提出的算法在累积和平均随机回报方面优于三种深度强化学习算法的组合，并在执行延迟，能量消耗和使用费用方面胜过众多基准算法。

    May, 2022

  • 面向下一代 HetNets 的多层次多智能体 DRL 框架：联合多 RAT 分配和动态资源分配

    本文提出了一个基于分阶段多代理深度强化学习框架 DeepRAT 来解决下一代异构无线网络中成本感知的下行总速率最大化的问题。通过模拟实现，我们证明各种 DRL 代理的有效互动，学习系统动态并导出全局最优策略，同时也证明了 DeepRAT 算法在网络效用方面优于现有的最先进的启发式方法，并进一步量化了 DeepRAT 模型在快速适应网络动态、例如设备的移动方面的能力。

    Feb, 2022

  • 分布式卫星路由的多主体深度强化学习

    该研究介绍了一种用于低地球轨道卫星链路的多智能体深度强化学习方法（MA-DRL），通过融合全局深度神经网络以及本地预训练 DNN，实现离线学习最优路径并快速适应网络和流量变化，在线实现高效分布式路由。

    Feb, 2024

  • 通过分层深度强化学习实现虚拟网络嵌入的联合接纳控制和资源分配

    本文提出了一种深度分层强化学习方法，命名为 HRL-ACRA，用于解决虚拟网络嵌入中的综合接纳控制和资源分配问题。通过分解 VNE 过程为上层策略和下层策略，考虑到无限时间问题和奖励稀疏问题，采用了平均奖励方法和自定义多目标内在奖励。同时，利用深度特征感知图神经网络和序列到序列模型，能够更好地获取 VNR 和物理网络的特征，并生成嵌入行动。实验证明 HRL-ACRA 在接纳率和长期平均收入方面优于现有基线算法。

    Jun, 2024

  • 动态车联网中的 DNN 划分、任务卸载和资源分配：一种基于 Lyapunov 导引的扩散强化学习方法

    人工智能和深度神经网络在车辆网络生态系统中的快速发展引入了计算密集型任务，对单个车辆的计算资源需求超过其能力，为解决这一挑战，车辆边缘计算作为一个解决方案应运而生，通过车辆间 / 基础设施之间的通信资源池提供深度神经网络任务的计算服务，本文将 VEC 中的 DNN 划分、任务卸载和资源分配问题建模为动态长期优化问题，目标是在时间上保证系统稳定的同时尽量减少 DNN 任务的完成时间，首先利用 Lyapunov 优化技术将原始的长期优化问题与稳定约束解耦成每个时隙的确定性问题，然后提出了一种基于 Multi-Agent Diffusion-based Deep Reinforcement Learning (MAD2RL) 算法，通过创新性地使用扩散模型来确定最优的 DNN 划分和任务卸载决策，在 MAD2RL 中还将凸优化技术作为子程序加以整合来分配计算资源，提高学习效率，通过对真实世界车辆移动轨迹的模拟，我们证明了我们所提出的算法相对于现有的基准解决方案具有更优越的性能。

    Jun, 2024

  • 软件定义网络路由优化深度强化学习方法

    本文设计和评估了一个深度强化学习代理，该代理优化路由并自动适应当前交通条件，提出量身定制的配置以尝试最小化网络延迟，实验表现出极具潜力的性能与相较于传统优化算法的重要操作优势。

    Sep, 2017