Apr, 2024

TrajDeleter：离线强化学习代理中的轨迹遗忘功能

PDF
TL;DR本研究提出了 Trajdeleter 和 Trajauditor，分别为离线强化学习代理实现轨迹遗忘和评估提供了实用的方法。通过 extensive experiments，结果表明 Trajdeleter 仅需约 1.5% 所需时间进行重新训练，有效地删除了目标轨迹的 94.8%，且在实际环境交互后仍表现良好。
reinforcement learningoffline rltrajectory unlearningtrajdeletertrajauditor
发现论文，激发创造
  • 利用离线数据加速程序生成环境下的强化学习

    研究了强化学习中采用离线轨迹进行数据增强的方法，发现采用离线轨迹进行前置训练或同时进行在线强化学习和离线轨迹训练均能提高样本效率和收敛到最优策略，预训练只需要两条轨迹数据即可对最终学习结果产生较大影响。

    Apr, 2023

  • 半监督离线强化学习与无动作轨迹

    通过开发新的算法流程，利用多种数据来源进行线下强化学习，仅使用 10％的数据可以达到与完全有标签的数据集相似的性能，同时进行大规模控制实验，以确定半监督学习应用于 RL 的最佳实践。

    Oct, 2022

  • 优先轨迹回放：一种面向数据驱动型强化学习的回放内存

    本研究提出一种记忆技术 (Prioritized) Trajectory Replay (TR/PTR) 以优化 offline RL 的效率和性能。该方法将采样视角扩展到轨迹上，具有更全面的信息提取能力，并应用于现有的 offline RL 算法中。

    Jun, 2023

  • 离线强化学习的多目标决策 Transformer

    离线强化学习以多目标优化问题的形式重新定义为序列建模任务，引入动作空间区域以解决变换模型的关注机制在输入上分配变化注意权重的潜在问题。实验证明这些提议使得变换模型更有效地利用关注机制，达到或超过当前最先进方法的性能。

    Aug, 2023

  • 离线强化学习的轨迹概括

    通过世界转换器进行线下强化学习的离线轨迹泛化方法（OTTO）在 D4RL 基准数据集上验证了其相对于最先进的线下强化学习方法具有显著优势。

    Apr, 2024

  • ATraDiff：使用虚拟轨迹加速在线强化学习

    使用离线数据训练生成扩散模型以解决在线强化学习中的稀疏奖励问题。

    Jun, 2024

  • 基于模型的离线强化学习中的不确定性驱动轨迹截断

    TATU is proposed to address the issue of uncertainty in synthetic samples for model-based offline RL algorithms and has been shown to improve the performance of various RL algorithms on the D4RL benchmark.

    Apr, 2023

  • 强化学习的遗忘

    提出了两种强化学习取消学习方法：逐渐减少强化学习和环境污染攻击。为了解决强化取消学习的挑战，引入了 “环境推断攻击” 的概念来评估取消学习结果。

    Dec, 2023

  • 使用离线数据进行高效在线强化学习

    本研究提出了一种简单的方法，利用离线数据来解决在线强化学习中的效率和探索性问题，通过对现有离线策略学习算法进行改进，得出了可以在各种竞争对手的基准测试中比现有方法提高 2.5 倍的建议。

    Feb, 2023

  • 离线强化学习中的潜在扩散推理

    该论文介绍了一种离线强化学习的方法，使用压缩的潜在技能建模支援轨迹序列，避免外推错误，并通过批量约束来学习 Q 函数。该方法通过学习的时间抽象潜在空间在离线强化学习任务中编码了更丰富的任务特定信息，改进了信用分配，并促进了更快的奖励传播。该方法在 D4RL 基准测试中表现出最先进的性能，特别擅长长期，稀疏奖励任务。

    Sep, 2023