ICLRMar, 2023

通过迭代能量最小化进行序列模型规划

PDF
TL;DR本研究提出了一种将规划与序列模型相结合的方法，基于迭代能量最小化的思路，通过训练掩盖语言模型以捕捉动作轨迹的隐式能量函数，并将规划形式化为最小化能量的轨迹，实现了在不同任务上改进强化学习性能，并证明了通过迭代优化程序能够实现新的任务泛化、测试时间约束自适应和计划组合的能力。
发现论文，激发创造
  • 离线强化学习问题的序列建模方法

    本文介绍了如何使用序列建模来解决强化学习问题，使用 Transformer 架构来建模轨迹上的分布，并改造了波束搜索作为规划算法，在长时间序列预测、模仿学习、目标条件下的强化学习和离线强化学习等方面展示了该方法的灵活性和高效性，同时将该方法与基于模型的算法相结合，使其在稀疏奖励、长时间序列任务中表现为最先进的计划器。

    Jun, 2021

  • 序列建模中应对乐观主义策略的强化学习

    本研究提出了一种解决优化偏差的方法，即通过显式分离策略和世界模型，并在测试时寻找能够应对多种可能未来环境的策略，以更好地完成多种自动驾驶任务。

    Jul, 2022

  • 基于能量模型的模型规范化计划

    本研究讨论利用学习到的动力学模型进行规划，并提出使用环境状态转换的能量估计来规范该模型以实现样本有效学习，结果表明该方法可以在几分钟的经验中实现具有竞争力表现的学习。

    Oct, 2019

  • 对比模仿生成时间序列

    一种结合自回归模型和对抗模型的生成框架，通过训练一个本地的过渡策略和一个全局的能量模型来生成时间序列数据，以模拟其连续行为，并在实证分析中验证其性能。

    Nov, 2023

  • SequenceMatch: 带回溯的自回归序列模型的模仿学习

    研究提出了一个名为 SequenceMatch 的方法，将序列生成问题转化成了一种模仿学习问题，并采用回溯策略和特定的训练目标以优化文本生成过程中的错误，经实验证明，该方法在语言模型的文本生成任务中比 MLE 更加优秀。

    Jun, 2023

  • 序列建模是离线强化学习的强有力竞争者

    该研究从数据子优劣性和任务复杂性两个方面探讨了离线强化学习的三种主要范式：Q-Learning、Imitation Learning 和 Sequence Modeling 的表现，并发现当接收到低质量数据并且奖励稀少时，Sequence Modeling 更优，因为它需要更多的数据但更加稳健且可以更好地适应任务复杂度。

    May, 2023

  • 决策变压器：通过序列建模的强化学习

    本文基于序列建模思路，提出一种将强化学习抽象为序列建模问题的框架，使用 Transformer 架构和相关的语言建模技术（如 GPT-x 和 BERT）来解决增强学习任务，其中提出的 Decision Transformer 模型可以通过自回归模型来输出未来的动作并获得预期回报，其性能在 Atari、OpenAI Gym 和 Key-to-Door 等实验中达到了业界领先水平。

    Jun, 2021

  • 计划、关注、生成：序列到序列模型的规划

    该研究研究如何将规划机制集成到序列到序列模型中，使用注意机制计算输入和输出序列之间的对齐来构建未来计划矩阵和承诺向量，提出的方法基于强化学习中的 STRAW 模型，该模型可以使用可微分运算进行端到端训练，且在字符级翻译、寻找 Eulerian 环路的算法任务和从文本生成问题等任务上的性能比强基线模型更好。

    Nov, 2017

  • MLE 和 RL 在序列预测中的联系

    采用统一的熵正则化策略优化框架，将不同算法统一为特殊实例，从而提供了统一的探索与学习效率的视角。此外，本文还提出了一种动态插值的算法，用于调度序列模型的学习，实验证明其优于传统算法。

    Nov, 2018

  • 序列导师：带有 KL 控制的序列生成模型的保守微调

    本文提出了一种改善递归神经网络 (RNN) 生成序列结构和质量的通用方法，同时保持数据原本学习的信息和样本多样性，首先使用最大似然估计 (MLE) 对 RNN 进行预训练，接着通过强化学习 (RL) 训练另一个 RNN 生成高质量的输出，该方法在生成新的音乐旋律和计算分子结构中均表现出良好效果。

    Nov, 2016