通过展示强化学习代理在更广泛的轨迹分布中的行为,我们的方法可以传达代理在分布转移下的表现,从而有助于代理的有效验证。在用户研究中,我们展示了我们的方法可以使用户在代理验证任务中的得分比基准方法高。
Jan, 2022
本文研究强化学习中的一种广义泛化失败 —— 目标错误泛化。在此类失败中,强化学习代理在越出分布的情况下保留其能力,但追求错误的目标。我们阐明了能力和目标泛化之间的差别,提供了目标错误泛化的第一次经验演示,并对其原因进行了部分表征。
May, 2021
本文将最近开发的策略镜像下降方法进行了实质性的推广以处理一般状态和行动空间下的强化学习(RL)问题,引入了新的方法将函数逼近与此方法相结合,从而完全不需要使用显式策略参数化。此外,还提出了一种新的政策对偶平均方法,其中可能可以应用更简单的函数逼近技术。在精确策略评估下,我们将这些方法应用于解决不同类别的 RL 问题,为这些方法的全局最优性或局部最优性建立线性收敛速度,探讨了逼近误差对这些方法在具有有限动作空间或连续动作空间的一般状态 RL 问题上的收敛的影响。据我们所知,这些算法框架的开发以及它们的收敛分析似乎是文献中新的。
Nov, 2022
本研究考虑了强化学习中因未观测潜在因素引起的虚假相关性所导致的稳健性问题,提出了集成马尔可夫决策过程和状态混淆技术的算法 RSC-MDPs,并在真实的自动驾驶和操作环境中验证了其卓越性能。
Jul, 2023
本文提出了一个基于 farsighted objective 的新优化目标以及一种新的多智能体强化学习方法,实现了优于现有基线结果的长期性能。
Mar, 2022
通过利用深度神经网络解决高维状态或动作空间中的问题,强化学习研究在许多领域获得了显著的成功和关注。本文将概述深度强化学习策略遇到过拟合问题从而限制其鲁棒性和泛化能力的基本原因,并形式化和统一不同的解决方法来增加泛化能力并克服状态 - 动作值函数中的过拟合问题。我们相信我们的研究可以为当前深度强化学习的进展提供一个紧凑的系统统一分析,并有助于构建具有改进泛化能力的鲁棒深度神经策略。
Jan, 2024
该论文提出了一种基于正则化的强化学习方法,使代理人的行为具有指定的特征,从而增强了透明度和可解释性,并可应用于金融领域的个性化投资组合优化。
本篇论文重新审视了深度强化学习中表示学习的概念,并提出了几种定义,并在一个通用的测试任务上使用这些定义评估了算法的性能,结果表明代理在一些未被探索的状态下决策结果较差,这暗示我们需要更多的实验和分析,以支持表示学习的相关权利主张。
Dec, 2018
本文提出了一种基于生成式反向动力学模型的行为克隆方法以解决自我学习表现不佳的问题,利用模型产生短期想象轨迹进行训练,提高了模型的健壮性和适应性。
Oct, 2022
本论文对深度强化学习的过拟合现象进行了系统研究,发现过拟合可能会以不同方式发生,并且常用的随机性技术不一定能有效检测或预防过拟合,因此需要更加严谨的评估协议并研究感性偏差对泛化行为的影响。
Apr, 2018