Apr, 2022

RAMBO-RL：稳健性对抗性基于模型离线强化学习

PDF
TL;DR提出 Robust Adversarial Model-Based Offline RL（RAMBO），通过将问题建模为针对对手环境模型的两人零和博弈，训练出简单而精确地预测数据集过渡的模型和谨慎的策略，具有理论支持和比现有基线更出色的性能。
offline reinforcement learningmodel-based algorithmsadversarial environment modelperformance guaranteepac
发现论文，激发创造
  • 离线强化学习对抗模型

    提出 Adversarial Model for Offline Reinforcement Learning (ARMOR) 框架，通过对抗训练 Markov 决策过程模型，能够在数据覆盖不足情况下优化任意参考策略的性能，不需要使用模型集成，并可在各种超参数选择下提高参考策略的性能。

    Feb, 2023

  • 基于模型的离线策略优化与对抗网络

    使用对抗学习建立具有更好泛化性能的转移模型，能够更准确地量化模型不确定性，并在广泛研究的离线强化学习基准测试中胜过现有最先进的对照方法。

    Sep, 2023

  • 使用离线数据的强化学习算法

    该论文提出一种名为 RFQI 的稳健强化学习算法，使用离线数据集来优化策略，在标准条件下该算法能够学习到近乎最优的稳健策略，并且在标准基准测试问题上展现出卓越的性能表现。

    Aug, 2022

  • 走向强壮的策略：通过对抗攻击和防守增强离线强化学习

    该研究提出了一个框架，通过利用先进的对抗攻击和防御来提高离线强化学习模型的稳健性，并以 D4RL 基准进行了评估，结果显示了演员和评论家对攻击的脆弱性以及防御策略在提高策略稳健性方面的有效性，为提高实际场景中离线强化学习模型的可靠性提供了希望。

    May, 2024

  • MOPO: 基于模型的离线策略优化

    本文提出了一种基于模型的离线策略优化算法 (MOPO)，通过将模型地图上未知点处的即时报酬设置为高风险，从而优化模型训练过程中的代理策略，以解决离线数据分布发生漂移的问题，并在现有数据集和具有挑战性的连续控制任务中获得了最佳表现。

    May, 2020

  • MOReL：基于模型的离线强化学习

    本研究提出了基于模型的离线强化学习算法 MOReL，具有模块化设计，可以用于模型生成、不确定性估计、规划等领域，实验结果表明，MOReL 能够达到或超过当前广泛研究的离线强化学习基准的最新结果。

    May, 2020

  • 交替离线模型训练和策略学习的统一框架

    本文提出了一种迭代离线模型学习 (MBRL) 框架，其中通过交替进行动态模型训练和策略学习来最大化真实预期回报的下限，从而解决了动态模型和策略学习之间的目标不匹配问题，从而在广泛的连续控制离线强化学习数据集上实现了竞争性能。

    Oct, 2022

  • 稳健离线深度强化学习中克服模型偏差

    本研究提出了一种基于动力学模型的离线策略搜索算法 MOOSE，使用动力学模型评估策略的性能，得出了比当下主流的无模型、离线强化学习算法 BRAC、BEAR 和 BCQ 更稳健的结果。

    Aug, 2020

  • 强韧性对抗性强化学习

    提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

    Mar, 2017

  • 自适应行为正则化的离线强化学习

    本文提出了自适应行为正则化（ABR）的方法改善已有机器学习数据集中存在的行为采样偏差，从而提高了离线强化学习的效率和稳定性，并在 D4RL 数据集上实现了最新算法中更好或相当的性能。

    Nov, 2022