Aug, 2023

排队系统中学习成本的量化

PDF
TL;DR对于排队系统中的学习问题，我们提出了一种新的度量标准 CLQ（Cost of Learning in Queueing），该度量标准量化了由于参数不确定性引起的时间平均队列长度的最大增加；我们针对单队列多服务器系统对 CLQ 进行了刻画，并将这些结果推广到多队列多服务器系统和排队网络中；在建立结果的同时，我们提出了一个统一的 CLQ 分析框架，该框架将 Lyapunov 和 bandit 分析相融合，具有相对独立的研究价值。
queueing systemsbandit learningparameter uncertaintycost of learning in queueing (clq)lyapunov and bandit analysis
发现论文，激发创造
  • 基于学习的双边队列定价与匹配

    设计定价和匹配算法以最大化利润，同时保持顾客和服务商的队列长度低于预定阈值的动态系统。

    Mar, 2024

  • 队列学习：一种提供服务质量的强化学习方法

    本文介绍了一种基于强化学习的服务速率控制器，该控制器通过使用深度确定性策略梯度 (DDPG) 算法作为函数，将服务速率 (行动) 学习为串联服务系统中队列长度 (状态) 的函数，并提供关于系统端到端延迟的概率性保证。

    Jan, 2021

  • 部分可观察排队网络中的最优入场控制学习

    我们提出了一种高效的强化学习算法，用于在部分可观察排队网络中学习最佳的入场控制策略，其中部分可观察性是指只有网络的到达和离开时间是可观察的，最优性是指在无限时间内的平均持有 / 拒绝成本。

    Aug, 2023

  • 异步 Q 学习在控制理论视角下的有限时间分析（随着步长逐渐缩小）

    本文研究了异步 Q-learning 在 Markov 观测模型下的有限时间分析，介绍了与离散时间切换系统模型相连的收敛速率，并提出了新的简化模板以深入了解 Q-learning。

    Jul, 2022

  • 强化学习与入场控制的懊悔界限

    任何强化学习算法的期望遗憾在无折扣回报情况下下界为 $\Omega\left (\sqrt {DXAT}\right)$，其中 $D$ 表示马尔科夫决策过程的直径，$X$ 表示状态空间的大小，$A$ 表示动作空间的大小，$T$ 表示时间步数。然而，这个下界是一般性的，考虑到问题结构的一些具体知识可以获得更小的遗憾。在本文中，我们考虑了一个具有 $m$ 个作业类和类依赖奖励和持有成本的 $M/M/c/S$ 队列的入场控制问题。排队系统的直径通常是缓冲区大小 $S$ 的指数级，这使得先前的下界在实际使用中变得困难。我们提出了一种受 UCRL2 启发的算法，并利用问题结构来上界有限服务器情况下的期望总遗憾为 $O (S\log T + \sqrt {mT \log T})$。在无限服务器情况下，我们证明了遗憾对 $S$ 的依赖性消失。

    Jun, 2024

  • 异构排队系统作业路由的高效强化学习

    我们提出了一种基于低维度软阈值策略参数化的高效策略梯度算法 ACHQ，利用底层排队结构，针对中心队列向异构服务器系统中任务迅速路由的问题。我们为一般情况提供了静态点收敛保证，并且尽管参数化维度较低，但证明了 ACHQ 对于两个服务器的特殊情况收敛于近似全局最优解。模拟结果表明，与贪婪策略相比，ACHQ 在预期响应时间上提高了约 30%。

    Feb, 2024

  • 半满－维特制度下多类别队列的动态调度：高维问题的计算方法

    电话呼叫中心的多类队列模型，通过扩散控制问题和深度神经网络技术，提出了解决呼叫中心调度问题的政策，并对其性能进行了评估。

    Nov, 2023

  • 非稳态环境下具有昂贵特征的在线学习

    在顺序决策问题中，我们扩展上下文奖励设置并允许智能体观察功能状态的子集，以同时最大化长期平均收益并在有限时间内保证减少。

    Jul, 2023

  • LQoCo：学习优化存储系统中的缓存容量超载

    本文首次提出了一种轻量级学习型缓存带宽控制技术（LQoCo），它可以自适应地控制缓存带宽，以有效地防止存储系统中的缓存过载，实验表明，LQoCo 可以适应不同的工作负载，从而显著提高存储性能。

    Mar, 2022

  • 有限误差在线学习中反馈价格的界限

    改进了几种在线学习场景的最坏情况边界，包括延迟模糊强化学习、函数族组合学习、犹豫学习等，并解决了多类学习中反馈价格问题和多输入延迟模糊强化学习的边界问题。

    Jan, 2024