决策 Transformer 是一种创新算法，利用了转换器架构在强化学习中的最新进展；我们提出一个序列建模框架来研究通过分层强化学习进行顺序决策的方法，并展示了 DT 作为该框架的一个特例，同时讨论了潜在的失败选择；受到这些观察的启发，我们研究了如何联合优化高层和低层策略以实现拼接能力，从而进一步发展了新的离线强化学习算法；我们的实证结果清楚地表明，所提出的算法在多个控制和导航基准测试中明显优于 DT；我们希望我们的贡献可以在强化学习领域中推动转换器架构的整合。

Nov, 2023

在强化学习中，通过应用因果推理和决策变换机制，从先前的环境中收集数据并将其用于新环境中的自适应转移学习可以成功地获得最佳策略，并保留大部分收益。

Oct, 2021

本文基于序列建模思路，提出一种将强化学习抽象为序列建模问题的框架，使用 Transformer 架构和相关的语言建模技术（如 GPT-x 和 BERT）来解决增强学习任务，其中提出的 Decision Transformer 模型可以通过自回归模型来输出未来的动作并获得预期回报，其性能在 Atari、OpenAI Gym 和 Key-to-Door 等实验中达到了业界领先水平。

Jun, 2021

人类可以利用以往的经验从少量的演示中学习新的任务。我们提出了一种基于 Prompt-DT 的模型，它借助 Transformer 架构的序列建模能力和 prompt 框架，在离线 RL 中实现了少量样本的适应性。我们的实验表明，Prompt-DT 是一种强大的少量样本学习器，可以在目标任务上进行良好的泛化。

Jun, 2022

Hyper-Decision Transformer (HDT) framework proposes an adaptation module initialized by a hyper-network to enable efficient adaptation to novel tasks for offline reinforcement learning, demonstrating better performance than state-of-the-art baselines in terms of task success rates.

Apr, 2023

通过使用多实体并行处理的结构，本研究提出了一种名为 Decision ConvFormer（DC）的新型动作序列预测模型，它在标准的强化学习基准测试中表现出了最先进的性能，并且对数据的底层含义有更好的理解和增强的泛化能力。

Oct, 2023

本研究介绍了一种新的弹性决策变换器（EDT）方法，可以在测试时通过调整在 DT 中保留的历史长度来促进轨迹拼接，实现优化轨迹和跨越 DT 和 Q 学习方法之间的性能差距，表现出优越性能。

Jul, 2023

将基于神经网络的控制器转换为等效的软决策树控制器，以提高可验证性且减小意外行为的风险。在包含 ReLU 激活函数和 argmax 操作的离散输出 NN 控制器上，提出了一种自动剪枝的精确且高效的转换算法。以 OpenAI Gym 环境中的两个基准测试为例，结果表明 SDT 转换可以有助于形式验证，并显示其运行时在使用 MountainCar-v0 和 CartPole-v0 时分别提高了 21 倍和 2 倍。

Apr, 2023

调查使用 Transformer 序列模型作为控制器动力学模型，发现它们不仅在单个环境下的学习表现优异，而且在少量数据或无数据的情况下能够很好地适应未见过的环境，由此可以成为控制器基础模型

May, 2023

本文介绍了一种离线强化学习的新方法 —— 图决策 Transformer（GDT）。GDT 将输入序列建模为因果图，以捕捉根本上不同概念之间的潜在依赖关系并促进时间和因果关系的学习。GDT 在图形输入处理中使用图形 Transformer，并在视觉任务中使用一个可选的序列 Transformer 来处理细粒度空间信息。实验表明，GDT 在基于图像的 Atari 和 OpenAI Gym 上的性能可以与最先进的离线强化学习方法相媲美或超越。

Mar, 2023