基于迁移学习的多主体深度强化学习实现跨小区网络分片

MMJun, 2023

基于迁移学习的多主体深度强化学习实现跨小区网络分片

Inter-Cell Network Slicing With Transfer Learning Empowered Multi-Agent Deep Reinforcement Learning

Tianlun Hu, Qi Liao, Qiang Liu, Georg Carle

TL;DR本文提出了一种基于多个深度强化学习代理的 DIRP 算法来协作优化资源分区，为网络切片满足每个应用的要求；同时设计了一种新颖的迁移学习辅助 DIRP 算法（TL-DIRP），以实现大规模移动网络中的可操作性和转移性。实验结果表明，TL-DIRP 非常大程度地提高了服务性能，为最差服务质量提供约 15% 的违规比率，平均服务 QoS 提供 8.8% 的违规。

Abstract

network slicing enables operators to efficiently support diverse applications on a common physical infrastructure. The ever-increasing densification of network deployment leads to complex and non-trivial inter-cell interference, which requires more than inaccurate analytic models to dy

network slicing resource management deep reinforcement learning transfer learning quality of service

发现论文，激发创造

数字孪生增强深度强化学习用于网络切片资源管理

网络切片通信系统通过动态和高效地分配资源来满足各种服务的需求。本文提出了一种由数字孪生和强化学习代理构成的框架来处理资源分配的问题，并验证了该框架的可扩展性，展示了数字孪生对切片优化策略性能的显著改进。

Nov, 2023

一种安全且加速的基于深度强化学习的 O-RAN 切片的混合迁移学习方法

提出了使用深度强化学习 (DRL) 算法的开放无线接入网络 (O-RAN) 切片的转移学习 (TL) 辅助方法，通过政策复用和蒸馏转移学习方法实现了快速收敛和改进泛化能力，显著提高了初始奖励值和收敛场景百分比，减少了奖励方差。

Sep, 2023

开放 RAN 中使用深度强化学习的 LSTM 流量预测和切片管理

通过使用分布式深度强化学习和基于长短期记忆的预测方法，本文介绍了一种利用分布式单元在开放式无线接入网络系统中进行网络切片 xApp 的新方法，并展示了显著提高网络性能、特别是减少服务质量违规的模拟结果。

Jan, 2024

使用 GAN 的深层分布式强化学习进行网络切片的资源管理

本文介绍了如何使用深度强化学习（DRL）解决无线接入网络中多个切片共享物理资源，且包含多种不同要求的服务，针对此类场景中的需求感知资源分配问题，作者提出了一种基于生成式对抗网络（GAN）和 DDQN 算法的切片联网资源优化方法。实验表明，所提出的算法可以有效地提高网络切片的资源利用率和服务性能。

May, 2019

网络分片资源管理的深度强化学习

本研究探讨了深度强化学习在网络切片资源管理中的应用，并通过广泛的模拟比较实现了无线电资源切片和基于优先级的核心网络切片等场景中深度强化学习的优势。同时，从一个更广泛的视角讨论了在网络切片中应用深度强化学习可能面临的挑战。

May, 2018

数字孪生辅助深度强化学习用于网络切片入场控制的在线优化

5G 及更高网络中多样化网络服务的扩散引发了网络切片技术的出现。其中，接纳控制通过选择性接受服务请求，在实现特定优化目标方面起关键作用。本文提出一种数字孪生（DT）辅助的深度强化学习（DRL）解决方案，以解决 DRL 模型初始不稳定性阻碍其在真实网络中实际部署的问题。通过监督学习建立 DT，并在 DRL 模型的训练阶段利用其辅助。广泛的模拟实验表明，与直接训练的最新状态 Dueling-DQN 相比，DT 辅助的 DRL 模型在初期训练时提高了 40％以上的资源利用率，并且相比于直接训练的 DRL 模型提高了 20％以上。在保持模型优化长期奖励能力的同时实现了这一改进。

Oct, 2023

基于注意力的深度强化学习的开放式无线接入网络切片管理

本文介绍了一种基于 O-RAN 模块和分布式代理合作，利用注意力机制的深度强化学习（ADRL）技术，以实现更好的网络性能，通过有效信息提取和实现泛化，提出了在分布式代理之间引入值 - 注意力网络来实现可靠和最优决策。模拟结果证明，与其他深度强化学习基线方法相比，该方法显著提高了网络性能。

Jun, 2023

通过 Twin Delayed DDPG 和 OpenAI Gym 实现连续多目标零触碰网络切片

这篇论文介绍了一种使用人工智能技术的网络切片自动化资源管理方法，采用多目标策略并使用深度强化学习方法以最小化延迟、能源消耗和虚拟网络功能实例化成本。通过实验结果表明，该方法在提高切片成功率、降低延迟、节能和利用 CPU 方面具有优越性。

Jan, 2021

应对异构资源需求和时变流量动态的网络切片深度强化学习

本研究提出了一种基于深度强化学习的网络分片动态资源分配问题解决方案，模拟数据和真实负载驱动跟踪的模型评估表明，相比于基准均等分片策略，我们的解决方案提高了总资源利用率，降低了时延性能，并满足了更多的需求。

Aug, 2019

O-RAN 动态切片管理的演化深度强化学习

本文介绍了一种新的管理网络切片的框架，该框架使用了基于演化的深度强化学习 (EDRL) 方法，将 O-RAN 切片表示为马尔可夫决策过程 (MDP)，并通过对资源分配的最优解来满足服务需求，模拟结果表明，所提出的方法比 DRL 基线提高了 62.2% 的服务质量。

Aug, 2022