May, 2023

序列建模是离线强化学习的强有力竞争者

PDF
TL;DR该研究从数据子优劣性和任务复杂性两个方面探讨了离线强化学习的三种主要范式：Q-Learning、Imitation Learning 和 Sequence Modeling 的表现，并发现当接收到低质量数据并且奖励稀少时，Sequence Modeling 更优，因为它需要更多的数据但更加稳健且可以更好地适应任务复杂度。
发现论文，激发创造
  • 离线强化学习问题的序列建模方法

    本文介绍了如何使用序列建模来解决强化学习问题，使用 Transformer 架构来建模轨迹上的分布，并改造了波束搜索作为规划算法，在长时间序列预测、模仿学习、目标条件下的强化学习和离线强化学习等方面展示了该方法的灵活性和高效性，同时将该方法与基于模型的算法相结合，使其在稀疏奖励、长时间序列任务中表现为最先进的计划器。

    Jun, 2021

  • 序列建模中应对乐观主义策略的强化学习

    本研究提出了一种解决优化偏差的方法，即通过显式分离策略和世界模型，并在测试时寻找能够应对多种可能未来环境的策略，以更好地完成多种自动驾驶任务。

    Jul, 2022

  • 决策变压器：通过序列建模的强化学习

    本文基于序列建模思路，提出一种将强化学习抽象为序列建模问题的框架，使用 Transformer 架构和相关的语言建模技术（如 GPT-x 和 BERT）来解决增强学习任务，其中提出的 Decision Transformer 模型可以通过自回归模型来输出未来的动作并获得预期回报，其性能在 Atari、OpenAI Gym 和 Key-to-Door 等实验中达到了业界领先水平。

    Jun, 2021

  • 离线强化学习中的泛化缺陷

    该研究通过比较在线学习和离线学习等方法的泛化能力，引入离线学习泛化性能评估的新基准，并发现离线学习算法在新环境中的表现不如在线学习算法，而增加数据多样性能够提高离线学习算法在新环境中的性能。

    Dec, 2023

  • 使用简单序列先验的强化学习

    使用信息熵的目标函数和可压缩动作序列作为先验，提出了一种新的强化学习算法，能够学习解决包含可压缩序列动作的任务。在一系列连续控制任务中表现比最先进的无模型方法更好，并且产生出强大的信息正则化代理，能够对噪声观测进行鲁棒控制和执行开环控制。

    May, 2023

  • 基于深度强化学习的序列到序列模型

    本文介绍最近相结合的 seq2seq，深度神经网络和加强学习模型，考虑如何在决策制定的 RL 方法中利用序列到序列模型的长期记忆能力来解决复杂的问题，提出并探讨 RL 方法解决序列到序列模型领域常见的曝光偏差而且在训练与测试的指标上也不一致的两个问题，并提供了大多数 RL 模型的源代码以支持抽象文本摘要的复杂任务。

    May, 2018

  • 离线强化学习的最大回报序列建模

    该论文介绍了最大回报的序列建模概念，提出了 Reinforced Transformer（Reinformer）作为一个整合了最大化回报目标的序列模型。Reinformer 在训练阶段将最大化回报的目标纳入模型，并在推断时引导最优动作的选择，从而在轨迹拼接能力上优于传统强化学习方法和现有的序列模型。

    May, 2024

  • 深度强化学习生成文本

    提出了一种基于深度强化学习（Deep Q-Network, DQN）的序列到序列学习中，通过迭代的方式对输出序列进行解码的新型模式，旨在使解码器优先处理较为容易的序列部分，然后再处理较为困难的部分。

    Oct, 2015

  • 将持续学习重构为序列建模

    我们在这项工作中旨在建立起机器学习研究的两个重要领域之间的紧密联系：连续学习和序列建模。也就是说，我们提出将连续学习作为序列建模问题进行建模，使得先进的序列模型可以用于连续学习。通过采用元连续学习（MCL）框架，我们可以在元级别上对序列模型进行训练，应用于多个连续学习实验。作为我们新建模的具体示例，我们演示了将 Transformers 及其高效变体用作 MCL 方法的应用。我们在七个基准测试上进行了实验，涵盖了分类和回归问题，结果表明序列模型可以成为通用连续学习的一个有吸引力的解决方案。

    Oct, 2023

  • 离线强化学习的乐观视角

    该研究使用 DQN 重放数据集研究了离线强化学习，提出了随机集合混合（REM）算法以促进泛化，得到比经过完全训练的 DQN 代理更好的结果。这表明，针对足够大且多样化的离线数据集进行训练的鲁棒强化学习算法可以导致高质量的策略。

    Jul, 2019