Feb, 2024

异构排队系统作业路由的高效强化学习

PDF
TL;DR我们提出了一种基于低维度软阈值策略参数化的高效策略梯度算法 ACHQ，利用底层排队结构，针对中心队列向异构服务器系统中任务迅速路由的问题。我们为一般情况提供了静态点收敛保证，并且尽管参数化维度较低，但证明了 ACHQ 对于两个服务器的特殊情况收敛于近似全局最优解。模拟结果表明，与贪婪策略相比，ACHQ 在预期响应时间上提高了约 30%。
发现论文，激发创造
  • 队列学习：一种提供服务质量的强化学习方法

    本文介绍了一种基于强化学习的服务速率控制器，该控制器通过使用深度确定性策略梯度 (DDPG) 算法作为函数，将服务速率 (行动) 学习为串联服务系统中队列长度 (状态) 的函数，并提供关于系统端到端延迟的概率性保证。

    Jan, 2021

  • 使用强化学习寻找有效的量子比特路由策略，以便在近期量子计算机部署中使用

    本文提出了量子计算机中量子比特路由问题的强化学习解决方案，解决此问题的方法是通过将传统的强化学习框架改进，允许离散动作空间，并证明了该方法的优越性，其具有普遍意义。

    Dec, 2018

  • 深度强化学习控制排队网络

    本论文研究了如何将新型高级策略梯度方法运用于具有无限状态空间、无界代价和长期平均代价目标的马尔可夫决策问题，提出了一种基于距离价值函数估计的 Proximal Policy Optimization 算法，并使用方差抑制技术解决了采样带来的误差问题，试验结果表明在具有多种负载条件的系统中，该算法可以生成优于现有启发式方法的控制策略，甚至可以获得接近于最优的结果。

    Jul, 2020

  • 部分可观察排队网络中的最优入场控制学习

    我们提出了一种高效的强化学习算法，用于在部分可观察排队网络中学习最佳的入场控制策略，其中部分可观察性是指只有网络的到达和离开时间是可观察的，最优性是指在无限时间内的平均持有 / 拒绝成本。

    Aug, 2023

  • 在线随机排队网络优化的干预辅助策略梯度方法：技术报告

    在线深度强化学习控制（ODRLC）是一种可替代传统方法的方法，它通过智能代理与实际环境直接交互并从这些在线交互中学习最优控制策略。我们提出了一种干预辅助框架，结合了神经网络的学习能力和传统控制策略的稳定性，以解决随机队列网络中无界状态空间的挑战。通过实验证明，我们的提出算法优于传统控制方法和之前的 ODRLC 算法。

    Apr, 2024

  • 仓储中的拣货路径问题的深度强化学习

    仓库操作管理中的拣货路径规划是一个关键问题。由于问题的复杂性和快速解决的需求，实践中经常使用次优算法。然而，强化学习提供了传统启发式方法的一个有吸引力的替代方案，潜在地在速度和准确性方面优于现有方法。我们介绍了一种基于注意力机制的神经网络模型来建模拣货路线，该模型使用强化学习进行训练。我们的方法在一系列问题参数上与现有启发式方法进行了评估，以展示其效力。我们提出的方法的一个关键优势是可以降低路径的感知复杂性。

    Feb, 2024

  • 增强样例的混合系统中的高效强化学习及其在排队网络中的应用

    本文提出了一种基于样本的强化学习方法，旨在解决混合系统中数据样本不足的问题，通过生成增强数据样本，显著提高了学习效率。通过实验结果，证明了该方法在深度 Q 学习和深度策略梯度方面的有效性。

    May, 2023

  • 复杂网络中的拥塞控制新型强化学习路由算法

    使用强化学习的路由算法能够控制拥塞和优化路径长度，从而提高网络吞吐量，有效地应用于复杂网络中各种流量场景和拓扑结构，并在实验中显示出最大节点拥塞减少 5 倍、效率提高 30% 的结果。

    Dec, 2023

  • 基于分位数的强化学习策略优化

    本文提出了一种名为 Quantile-Based Policy Optimization（QPO）的 RL 算法，与原有算法相比在 quantile 目标的情况下表现更好，算法使用神经网络对策略进行参数化，同时使用两个相互耦合的迭代来估计量位和策略参数。

    Jan, 2022

  • 无线网络中针对 URLLC 流量的风险敏感强化学习

    本研究针对多用户多信道无线网络中 URLLC 流动态信道分配问题，利用有穷时间马尔科夫决策过程框架，提出了一种新的基于风险加权的目标函数，利用值迭代算法和 Q-learning 算法分别求解了完美控制和不知晓 CSI 和信道参数时的最优策略，实验验证了算法的有效性。

    Nov, 2018