Jul, 2023

通过批处理学习实现双模态环境中强化学习智能体的稳定训练

PDF
TL;DR本文采用批处理更新的方式提出了一种新颖的学习方法，针对性地解决双峰随机环境下的强化学习问题，该方法对定价问题等现实应用具有显著的实用意义及工业部署潜力。
reinforcement learningbatch updatespricing problemsimulationstochastic environments
发现论文，激发创造
  • 基于批次的深度强化学习算法基准测试

    本研究在 Atari 领域中利用单个部分训练的行为策略生成的数据对最近的离线策略和批量强化学习算法的性能进行了基准测试，并发现在这些条件下，许多算法表现不佳，而 Batch-Constrained Q-learning 算法适应离散动作环境后在这项任务中表现最佳。

    Oct, 2019

  • 批量量子强化学习

    该研究论文提出了一种基于量子计算的 VQC 算法结合数据重载方案的批量 RL 算法，并在 OpenAI CartPole 环境下与基于神经网络的离散 BCQ 算法进行了比较，证明了其在效率上的优势。

    Apr, 2023

  • 连续双重约束批次强化学习

    本研究提出基于批次强化学习的算法，仅使用固定的离线数据集而非在线与环境的交互来学习有效策略，并通过策略约束和价值约束对数据集不足的情况进行干扰，实现对候选策略的控制，相比于现有的最新方法在多项连续动作批处理强化学习基准测试中表现优异。

    Feb, 2021

  • 可证明的好的无须强探索批量强化学习

    本文介绍了一种基于 Bellman 备份的批量强化学习算法，它采用一种更加保守的更新策略来提高输出策略的性能保证，并通过演示 MDP 示例和在标准基准测试中的实证比较来突出了我们保守更新的必要性和以前算法和分析的局限性。

    Jul, 2020

  • 延迟随机环境中的控制：基于模型的强化学习方法

    本文介绍了一种用于具有延迟反馈环境中的控制问题的新的强化学习方法，该方法采用了随机规划而非以前使用的确定性规划方法，从而在策略优化问题中嵌入了风险偏好。我们展示了该方法能够恢复具有确定性转换的问题的最优策略，并将其与文献中的两种先前方法进行对比。我们将该方法应用于简单任务以了解其特点，然后比较了这些方法在控制多个 Atari 游戏方面的性能。

    Feb, 2024

  • 主动学习强化学习：一种随机最优控制方法

    本文提供了一个应对强化学习的框架，解决了建模不确定性和计算成本高的问题，通过使用强化学习来解决随机动态规划方程，所得的强化学习控制器对多种类型的约束条件是安全的，并且可以主动学习建模不确定性，实现实时学习。通过模拟实例证明了提出方法的有效性。

    Sep, 2023

  • 贝叶斯神经网络中的随机动力系统学习与策略搜索

    本研究提出了一种基于模型的强化学习算法，它将贝叶斯神经网络与随机展开和随机优化策略相结合，并通过最小化 α- 散度来训练 BNNs 以捕获转换动态中复杂的统计模式，解决了传统方法容易失误的多模态和异方差问题，并在控制燃气轮机的真实场景中获得了有希望的结果。

    May, 2016

  • 斯塔克伯格批量策略学习

    本研究提出了一种基于 Stackelberg 的学习算法，用于批量强化学习中的政策学习问题，通过采用领导者 - 追随者结构的博弈论视角，该算法具有收敛性保证和对不同 iable Stackelberg 均衡的收敛性保证，实验证明其在批处理强化学习基准和真实世界数据集上表现良好。

    Sep, 2023

  • 批量强化学习的指数下界：相比在线强化学习，批量强化学习可能更加困难

    本文介绍了在具有线性函数表示的情况下，在折扣无限时间 M​​DPs 中分别对策略和目标策略的价值进行估计时，即使存在实现性并观察到精确奖励和转移函数以及为问题类提供最佳先验数据分布，也派生出指数的信息论下限，并引入了一个新的 “oracle+ batch algorithm” 框架来证明适用于每个分布的底限。工作显示了批处理和在线强化学习之间的指数分离。

    Dec, 2020

  • 成长式批次强化学习中的教师向学生知识转移

    本文探讨在离线和有人专家参与的环境下，如何利用专家提供的数据及信息来改善演员 - 评论家方法的样本需求复杂性和覆盖率，并在 DeepMind Control Suite 上验证了这一方法。

    May, 2023