Jun, 2023

动态网络航行学习：用于战术环境拥塞控制的 MARLIN 强化学习框架

PDF
TL;DR本研究提出了一种利用 RL 框架来优化战术网络拥塞控制的方法，并使用 MARLIN 智能体在依托于精确的仿真环境下训练，在模拟的卫星通信和 UHF 无线电链路之间测试其性能，结果表明 MARLIN 在战术网络环境下优于传统的 TCP Cubic 和默认的 Mockets 解决方案，这突出了在优化战术网络 CC 中使用专门的 RL 方案的有效性。
发现论文，激发创造
  • 基于 Soft Actor-Critic 的强化学习在真实网络的拥塞控制中的应用

    研究提出了一种基于最大熵强化学习算法的拥塞控制解决方案 (MARLIN)，该方法使用软 Actor-Critic 算法并将学习过程建模为一个无限时间任务，经过实验测试，MARLIN 可以在文件传输任务中取得与 TCP Cubic 可比较的结果。

    Feb, 2023

  • 网络系统控制的多智能体强化学习

    本文研究了网络系统控制中的多智能体强化学习问题，提出了基于空间折扣因子的 NMARL 问题并引入了一种可微的通信协议 NeurComm 以提高学习效率和控制性能。实验结果表明，合适的空间折扣因子可以有效提高 MARL 算法的非通讯性学习曲线，而 NeurComm 在学习效率和控制性能方面均优于现有的通信协议。

    Apr, 2020

  • 通过协作解决城市拥堵问题：基于异构 GNN 的 MARL 用于协调编队和交通信号控制

    本研究提出了一种基于异构图多智能体强化学习和交通理论的创新方法，用于实时联合控制信号控制和车队编队，以缓解交通拥堵。

    Oct, 2023

  • 多智能体深度强化学习用于大规模交通信号控制

    本文提出了一种可完全扩展和去中心化的多智能体 A2C 算法，以提高城市交通网络中的自适应交通信号控制的可观测性和减少学习难度，并在大型合成交通网格和摩纳哥城​​的大型实际交通网络下，通过模拟高峰流量动态，并将其与独立 A2C 和独立 Q-learning 算法进行比较，结果表明其优化性、鲁棒性和样本效率优于其他最先进的去中心化 MARL 算法。

    Mar, 2019

  • 通过深度符号回归实现闭式拥塞控制

    该论文提出了一种使用强化学习和深度符号回归来处理 5G 时代中超低时延和高吞吐场景下拥塞控制问题的方法。通过训练一个专门针对类似前传网络的拥塞控制策略，并采集基准策略的状态 - 动作经验，使用深度符号回归方法处理实时推理的挑战，从而实现基准策略的性能和泛化能力。该方法能够近似基准性能（链路利用率、延迟和公平性）并可以直接在任何编程语言中实现，并对闭合形式表达式的内部工作进行了分析。

    Mar, 2024

  • 基于图形的多智能体强化学习的协同信息传播学习

    利用多智能体强化学习的分散式 POMDP 方法，通过图卷积强化学习和动态注意力技术实现信息传播，提供了可靠的协作信息传播解决方案。

    Aug, 2023

  • 基于表征通信的大规模交通信号控制的多智能体强化学习

    基于通信的多智能体强化学习（MARL）框架用于大规模交通信号控制，每个智能体学习通信策略以选择消息的发送对象和交换可变长度的消息，实现去中心化和灵活的通信机制，并在网络拥塞和性能方面表现优于相关方法。

    Oct, 2023

  • 网络代理的去中心化多智能体强化学习：最新进展

    本文回顾了多智能体强化学习的一个分支领域 —— 网络化智能体下的去中心化多智能体强化学习。该领域的研究主要集中在多个代理在公共环境中执行顺序决策，而无需任何中央控制器的协调。代理可以通过通信网络与其邻居交换信息。此设置在机器人，无人驾驶车辆，移动传感器网络和智能电网的控制和操作中具有广泛应用。

    Dec, 2019

  • 多智能体强化学习的速度性能表征

    通过加速角度对多智能体强化学习算法进行分类，并对三个最先进的算法进行性能瓶颈分析，从而提出了多智能体强化学习的延时受限吞吐量作为关键性能指标。

    Sep, 2023

  • 多智能体图强化学习中的学习分散式交通信号控制器

    本文研究智能城市中的交通信号优化控制问题，通过多智能体强化学习的新分散控制架构和图学习算法，提出了一种新的去中心化控制策略，增强了环境可观测性以抓取交通信号的时空关联性，实验证明该方案优于现有的分散算法。

    Nov, 2023