基于强化学习的开放式 RAN 中稀疏感知智能大规模随机接入控制

MMMar, 2023

基于强化学习的开放式 RAN 中稀疏感知智能大规模随机接入控制

Sparsity-Aware Intelligent Massive Random Access Control in Open RAN: A Reinforcement Learning Based Approach

Xiao Tang, Sicong Liu, Xiaojiang Du, Mohsen Guizani

TL;DR提出了基于强化学习的闭环访问控制方案，通过近实时的无线接入网络智能控制器与环境的持续交互来确定强化学习策略，以实现对 Open Radio Access Network 中大规模访问请求的高效控制和管理，同时还提出了数据驱动的深度强化学习辅助方案，可用于处理连续和高维状态、动作空间的高度复杂的环境。

Abstract

Massive random access of devices in the emerging open radio access network (O-RAN) brings great challenge to the access control and management. Exploiting the bursting nature of the access requests, →

open radio access network access control sparse active user detection reinforcement learning near-real-time ran intelligent controller

发现论文，激发创造

O-RAN 中的智能负载均衡与资源分配：一种多智能体多臂赌博机方法

该论文研究了如何利用机器学习算法实现开放式无线接入网络的智能化管控，提出了一种基于多智能体和多臂赌博机的负载平衡和资源分配策略，并通过仿真实验证明，该算法在有效提升网络吞吐率的同时，相对于基于规则的和其他启发式算法，更能实现开放接入单元之间的负载均衡。

Mar, 2023

基于 Actor-Critic 学习的 O-RAN 资源分配中的动态 CU-DU 选择

本文提出两种基于 actor-critic 学习的技术来优化资源分配功能的位置以及资源分配决策，并研究了增强学习资源分配在可观测性方面对性能的影响，实验表明，在动态地网络功能（NF）根据服务要求进行重新定位时，使用强化学习技术能够获得延迟和吞吐量的提高。

Oct, 2021

基于深度强化学习的智能 O-RAN URLLC 流量引导

该研究提出基于机器学习的交通引导方案以预测网络拥塞并在避免其的基础上通过优化设置来服务具备低延迟和高可靠性需求的 URLLC 应用。在 O-RAN 中，比传统反应式交通引导方法平均减少 15.81％的排队延迟。

Mar, 2023

Open-RAN 网络资源分配的自博弈学习策略

本文提出了基于深度强化学习和类似于 AlphaGo Zero 的神经蒙特卡罗树搜索的自我对抗自学习策略，以实现不同网络条件下的智能 RU-DU 资源分配，并研究了 ORAN 系统中 RU-DU 资源分配问题的 2D 装箱模型

Mar, 2021

一种安全且加速的基于深度强化学习的 O-RAN 切片的混合迁移学习方法

提出了使用深度强化学习 (DRL) 算法的开放无线接入网络 (O-RAN) 切片的转移学习 (TL) 辅助方法，通过政策复用和蒸馏转移学习方法实现了快速收敛和改进泛化能力，显著提高了初始奖励值和收敛场景百分比，减少了奖励方差。

Sep, 2023

O-RAN 中网络切片的高效资源分配的半监督学习方法

我们提出了一种创新的方法，旨在协调 Open Radio Access Network（O-RAN）中的多个独立 xAPPs，以实现网络切片和资源分配，并优化用户设备（UE）之间的加权吞吐量和物理资源块（PRB）的分配。通过设计 power control xAPP 和 PRB allocation xAPP，我们的方法通过监督学习和无监督学习的组合实现了高效的网络切片问题解决方案。与其他方法相比，我们的方法在不同场景中展现出更高的性能和效果。

Jan, 2024

具备大规模 MIMO 接收机的免授权大规模随机接入

论文研究了无源随机接入（U-RA）问题，通过利用大规模 MIMO 基站和协方差恢复算法实现高频谱效率，但也存在复杂度问题。

Nov, 2019

室内环境下采用 NOMA 辅助的多 STAR-RIS 设计优化：凸逼近模仿强化学习方法

通过多个关键接入点（APs）和自适应重构智能表面（STAR-RISs）的新型网络架构，该研究论文提出了应对室内通信中干扰抑制、功耗和实时配置方面的挑战的解决方案，并采用多智能体深度强化学习（MADRL）来优化 STAR-RIS 的控制。通过模拟实验，论文证明了与基准方法相比，网络效用显著提高。

Jun, 2024

用于无授权 SCMA 系统的基于深度学习的主动用户检测

本论文提出了两种基于群组的深度神经网络主动用户检测方案，用于减轻大规模机器类型通信中的传输时延和信令开销问题。通过使用稀疏代码多址接入系统中的接收信号，实现了对多维码本结构和信道特性的非线性映射学习。该方案在接收机无状态信息的条件下，能够在离线训练时段检测到活动设备，有效提高了检测概率。仿真结果表明，该方案比传统的主动用户检测方案在感兴趣的信噪比范围内能够大幅提高概率检测。

Jun, 2021

5G 网络中基于开放 RAN 架构的流量引导可编程定制智能化

本文介绍了 ns-O-RAN 软件框架，该框架整合了实际的生产级别的基于近实时 RAN 智能控制器 (near-RT RIC) 以及基于 ns-3 的 3GPP 模拟环境，以便开发 xApp 和自动化的大规模数据收集，并测试深度强化学习驱动的用户级优化控制策略。同时，作者提出了第一个面向用户的 O-RAN Traffic Steering (TS) 智能切换框架，将两种算法结合在一起，优化网络中的用户级别基站服务，使得传输速率和频谱效率平均提高了 50％。

Sep, 2022