Mar, 2024

通过深度符号回归实现闭式拥塞控制

PDF
TL;DR该论文提出了一种使用强化学习和深度符号回归来处理 5G 时代中超低时延和高吞吐场景下拥塞控制问题的方法。通过训练一个专门针对类似前传网络的拥塞控制策略，并采集基准策略的状态 - 动作经验，使用深度符号回归方法处理实时推理的挑战，从而实现基准策略的性能和泛化能力。该方法能够近似基准性能（链路利用率、延迟和公平性）并可以直接在任何编程语言中实现，并对闭合形式表达式的内部工作进行了分析。
发现论文，激发创造
  • 深度强化学习在互联网拥塞控制中的应用

    该研究利用深度强化学习（RL）算法解决互联网拥塞控制问题，成果表明该 RL 指导拥塞控制方法在数据流量和网络环境的复杂模式识别方面性能卓越但也需要解决公平性、安全性、泛化问题。此外，研究提出基于 OpenAI Gym 接口的测试套件，以促进对该方法的进一步研究和可重复性。

    Oct, 2018

  • 基于符号化精简的 TCP 学习型拥塞控制技术

    本文提出一种基于深度强化学习的深度神经网络模型，在模型训练完成后对模型参数进行压缩，转换成可解释且能够适用于不同网络环境的符号表达式，并提供了一种新的符号分支算法，验证了该方法在模拟和仿真环境中能够保留和提高性能。

    Oct, 2022

  • 面向交通信号控制的鲁棒深度强化学习：需求激增、事故和传感器故障

    本论文详细研究采用深度强化学习（RL）算法解决交通拥堵问题，并开发了一个开源框架以评估这些算法在不同的交通模拟环境下的表现。通过考虑一系列外生不确定因素，如需求激增、容量减少和传感器故障等。我们得出了深度强化学习算法在交通控制领域的关键见解，并提出了具体的设计以减轻这些考虑过的外生不确定因素对系统的影响。

    Apr, 2019

  • 基于学习的时延受限前端压缩优化在 C-RAN 中

    通过深度强化学习控制前传带宽压缩，该方法在不同的前传负载水平下实现了显著的前传带宽利用率和空中接口吞吐量提升，并能够满足预定的前传时延约束。

    Nov, 2023

  • 提高大规模交通信号控制的泛化能力和稳健性

    本研究探讨了使用分布式强化学习方法控制交通信号灯的鲁棒性和泛化能力，提出了一种组合使用分布式和标准强化学习的策略集成方法，并使用隐式分位点网络（Implicit Quantile Networks）进行建模，在缺失的数据和不同的交通网络结构下取得了优秀的控制效果。

    Jun, 2023

  • 在 NVIDIA 网络接口卡中实现强化学习的数据中心拥塞控制

    使用强化学习算法，将复杂的神经网络转化为决策树的形式，从而实现计算器能力有限的网络设备上的实时拥塞控制，与生产中使用的拥塞控制算法相比具有更好的性能。

    Jul, 2022

  • 复杂网络中的拥塞控制新型强化学习路由算法

    使用强化学习的路由算法能够控制拥塞和优化路径长度，从而提高网络吞吐量，有效地应用于复杂网络中各种流量场景和拓扑结构，并在实验中显示出最大节点拥塞减少 5 倍、效率提高 30% 的结果。

    Dec, 2023

  • 基于模型的深度强化学习加速流体模拟的学习

    深度强化学习在闭环流控问题中应用模拟环境进行优化，通过模型和流模拟样本相互交替训练，有效减少流控应用中的计算时间，尤其对于复杂流模拟有着潜在的巨大节约。

    Feb, 2024

  • 动态网络航行学习：用于战术环境拥塞控制的 MARLIN 强化学习框架

    本研究提出了一种利用 RL 框架来优化战术网络拥塞控制的方法，并使用 MARLIN 智能体在依托于精确的仿真环境下训练，在模拟的卫星通信和 UHF 无线电链路之间测试其性能，结果表明 MARLIN 在战术网络环境下优于传统的 TCP Cubic 和默认的 Mockets 解决方案，这突出了在优化战术网络 CC 中使用专门的 RL 方案的有效性。

    Jun, 2023

  • 强化学习的红绿灯控制

    本研究提出一种实时交通信号灯控制方法，使用深度 Q 学习，并结合奖励函数，考虑排队长度、延迟、旅行时间和吞吐量，通过根据当前交通状况动态决定相位变化。通过使用合成和实际交通流数据在中国杭州的一个路口进行验证，结果表明与传统的固定信号计划相比，该方法显著改善了车辆等待时间（57.1% 至 100%）、排队长度（40.9% 至 100%）和总行程时间（16.8% 至 68.0%）。

    Aug, 2023