Feb, 2024

线性情境马尔可夫决策过程的样本复杂度刻画

PDF
TL;DR该论文研究了上下文马尔可夫决策过程（CMDPs）在线性函数逼近模型下的性质，提出了创新的基于模型的算法，并证明了其在样本复杂度方面的优越性。比较两种模型的结果表明，上下文变化的特征比所有上下文共享表示在线性 CMDPs 中具有更好的样本效率。
contextual markov decision processesreinforcement learninglinear function approximation modelsmodel-based algorithmssample efficiency
发现论文，激发创造
  • 具有连续侧信息的马尔可夫决策过程

    本文提出了一种基于上下文的马尔可夫决策过程增强学习算法，用于医疗保健中的治疗决策。算法基于平滑性假设进行学习，并给出了 PAC 边界。在上下文可线性组合的情况下，基于 KWIK 学习技术，我们提供了一个 PAC 学习算法。

    Nov, 2017

  • 上下文马尔可夫决策过程

    论文讨论了一种名为 CMDP 的新模型，可模拟顾客在与网站交互时的行为，并基于此行为决定顾客特征，优化交互。作者提出了一系列算法，可以学习潜在的模型和上下文，并优化 CMDPs。

    Feb, 2015

  • 具有历史依赖的动态环境下的强化学习

    本研究介绍了一种新的强化学习框架：动态上下文马尔可夫决策过程（DCMDPs），着重关注于处理非马尔可夫环境的情况。该模型利用聚合函数确定上下文转换，使得指数与历史长度的依赖关系得到破解。作者还展现了在基于该模型的算法上的实现效果。实验根据 MovieLens 数据开展，主要探讨了针对推荐任务变化的用户行为的模式研究

    Feb, 2023

  • 约束马尔可夫决策过程的原始对偶方法

    本文提出了一种基于采样的原始 - 对偶算法来解决带约束的马尔科夫决策过程，通过应用正则化策略迭代来改善策略，应用次梯度上升来保持约束。在弱耦合结构的情况下，通过嵌入式分解方法，能够显著减少问题的维度。将算法应用于多产品库存管理和多类队列调度，并表明它产生优于现有启发式算法的控制。

    Jan, 2021

  • 基于分层探索 - 利用权衡的离线 Oracle 高效学习上下文 MDP

    本文提出了一种从上下文马尔科夫决策过程到离线密度估计的高效、近似最优的转化算法，同时解决了无结构假设的模型类 CMDPs。

    May, 2024

  • 通过对比表示学习使线性 MDPs 具有实用性

    本研究提出了利用对比估计自动保证规范化的线性马尔可夫决策过程（MDPs）的可行性，实现了优秀的理论保证和实证性能，并引入了信心调整指数算法，实现了在面对不确定性时的高效和本质的乐观（或悲观）策略。

    Jul, 2022

  • 在约束马尔可夫决策过程中实现 $\tilde {O}(1/ε)$ 的样本复杂性

    我们研究了强化学习问题中的约束马尔可夫决策过程（CMDP），并通过优化算法对 CMDP 问题的样本复杂度提出了改进，实现了优化的问题相关保证。

    Feb, 2024

  • 稀疏线性 MDP 中的探索和学习，无需计算难解的预测器

    线性马尔科夫决策过程（MDP）中的特征选择和零稀疏线性 MDP，以及通过凸规划有效计算的模拟器、低深度决策树上的区块 MDP 的学习算法。

    Sep, 2023

  • 具约束的有限时间 MDP 的高样本效率算法

    本文研究了约束马尔可夫决策过程，并提出了一种在线算法，该算法利用了有限时间视角下的线性规划公式来进行乐观规划，以提供概率上正确的 γ 优化策略，该算法逐渐逼近最佳结果，并且保证结果最多只是 γ 深度有损失的结果，并且在指定公差范围内具有概率保证。

    Sep, 2020

  • 学习具有随机硬约束的对抗式马尔可夫决策过程

    我们研究带有对抗性损失和随机硬约束的约束马尔可夫决策过程（CMDP）中的在线学习问题。我们设计了两种不同的情景，第一种是在一般 CMDP 中实现次线性遗憾和累积正约束违规的算法。第二种情景下，我们假设策略存在且对学习者已知，并设计了一个算法，确保次线性遗憾的同时，高概率满足所有回合的约束。据我们所知，我们的工作是第一个研究同时涉及对抗性损失和硬约束的 CMDP。这些算法可处理一般非平稳环境中的要求，要求比现有算法处理的要严格得多，从而能够在更广范围的实际应用中采用，包括自动驾驶、在线广告和推荐系统。

    Mar, 2024