离散规范化优势函数的深度强化学习用于网络切片资源管理

Jun, 2019

离散规范化优势函数的深度强化学习用于网络切片资源管理

Deep Reinforcement Learning with Discrete Normalized Advantage Functions for Resource Management in Network Slicing

Chen Qi, Yuxiu Hua, Rongpeng Li, Zhifeng Zhao, Honggang Zhang

TL;DR本文采用离散归一化优势函数将深度强化学习算法应用于网络切片中资源管理的问题，将 Q - 值函数分离，使用确定性策略梯度下降算法避免不必要的计算，并利用 k 最近邻算法在离散空间中快速找到有效行动，提高网络切片的收敛速度。

Abstract

network slicing promises to provision diversified services with distinct requirements in one infrastructure. deep reinforcement learning (e.g., deep $\mathcal{Q}$-learning, DQL) is assumed to be an appropriate al

network slicing deep reinforcement learning resource management bandwidth allocation convergence

发现论文，激发创造

使用 GAN 的深层分布式强化学习进行网络切片的资源管理

本文介绍了如何使用深度强化学习（DRL）解决无线接入网络中多个切片共享物理资源，且包含多种不同要求的服务，针对此类场景中的需求感知资源分配问题，作者提出了一种基于生成式对抗网络（GAN）和 DDQN 算法的切片联网资源优化方法。实验表明，所提出的算法可以有效地提高网络切片的资源利用率和服务性能。

May, 2019

网络分片资源管理的深度强化学习

本研究探讨了深度强化学习在网络切片资源管理中的应用，并通过广泛的模拟比较实现了无线电资源切片和基于优先级的核心网络切片等场景中深度强化学习的优势。同时，从一个更广泛的视角讨论了在网络切片中应用深度强化学习可能面临的挑战。

May, 2018

数字孪生增强深度强化学习用于网络切片资源管理

网络切片通信系统通过动态和高效地分配资源来满足各种服务的需求。本文提出了一种由数字孪生和强化学习代理构成的框架来处理资源分配的问题，并验证了该框架的可扩展性，展示了数字孪生对切片优化策略性能的显著改进。

Nov, 2023

深度对抗神经网络实现最优和快速实时资源切片

本文提出了一种具有先进的深度弈算法的网络切片方法，用于快速实时的网络资源分配，该方法在动态用户需求时，通过将各种类型的资源切片到不同的用户类别下的虚拟切片中来最大化网络提供商的长期回报，并能够在多资源同时优化时更快地获得最优平均回报。

Feb, 2019

应对异构资源需求和时变流量动态的网络切片深度强化学习

本研究提出了一种基于深度强化学习的网络分片动态资源分配问题解决方案，模拟数据和真实负载驱动跟踪的模型评估表明，相比于基准均等分片策略，我们的解决方案提高了总资源利用率，降低了时延性能，并满足了更多的需求。

Aug, 2019

基于模型的持续深度 Q 学习加速

本研究探讨了算法和表示方法，以降低针对连续控制任务的深度强化学习的样本复杂度，并提出了两种互补的技术来提高这种算法的效率，包括导出连续 Q 学习算法的归一化优势函数以及使用学习的模型来加速无模型强化学习，并在一组模拟机器人控制任务中表现出明显的改进。

Mar, 2016

基于注意力的深度强化学习的开放式无线接入网络切片管理

本文介绍了一种基于 O-RAN 模块和分布式代理合作，利用注意力机制的深度强化学习（ADRL）技术，以实现更好的网络性能，通过有效信息提取和实现泛化，提出了在分布式代理之间引入值 - 注意力网络来实现可靠和最优决策。模拟结果证明，与其他深度强化学习基线方法相比，该方法显著提高了网络性能。

Jun, 2023

高效探索的非降分位函数网络在分布式强化学习中的应用

本文主要介绍了关于分布式强化学习 (DRL) 中，如何保证量化函数的有效性和高效利用分布信息的两个问题。在此基础上，提出了非降量化函数网络 (NDQFN) 保证得到的量化估计的单调性，并设计了一种名为分布预测误差 (DPE) 的通用探索框架，利用该框架整个量化函数的分布。通过对 Atari 2600 Games 等一些难度较大的游戏进行性能分析和对比，论证了所提方法的理论必要性和实际性能提高。

May, 2021

FDQN：一种用于游戏自动化的灵活深度 Q 网络框架

在这项研究中，提出了一种最新的灵活深度 Q 网络 (FDQN) 框架，能够通过自适应方法在动态环境中处理高维度感知数据，实时进行决策，并动态调整模型结构以适应不同游戏环境的行动空间，相对于基准模型，在各种 Atari 游戏和 Chrome Dino 游戏中取得优异表现。该框架采用 epsilon-greedy 策略有效平衡新的学习和探索，其模块化结构可以轻松应用于其他基于 HTML 的游戏，同时提到了该框架在实验室条件下成功解决了一个明确定义的任务，并探讨了其在更具挑战的真实世界情境和自动化游戏玩法等领域的潜在应用。

May, 2024

O-RAN 动态切片管理的演化深度强化学习

本文介绍了一种新的管理网络切片的框架，该框架使用了基于演化的深度强化学习 (EDRL) 方法，将 O-RAN 切片表示为马尔可夫决策过程 (MDP)，并通过对资源分配的最优解来满足服务需求，模拟结果表明，所提出的方法比 DRL 基线提高了 62.2% 的服务质量。

Aug, 2022