视觉强化学习中影响泛化差距的因素的理论与实证研究

Feb, 2024

视觉强化学习中影响泛化差距的因素的理论与实证研究

Understanding What Affects Generalization Gap in Visual Reinforcement Learning: Theory and Empirical Evidence

Jiafei Lyu, Le Wan, Xiu Li, Zongqing Lu

TL;DR通过理论上回答测试环境存在干扰因素时造成泛化差距的关键因素，我们的研究论文弥合了这一问题，指出在训练和测试环境之间尽量减小表示差距是最关键的，这与人类直觉相吻合。我们的理论结果得到了 DMControl 泛化基准测试 (DMC-GB) 的实证证据支持。

Abstract

Recently, there are many efforts attempting to learn useful policies for continuous control in visual reinforcement learning (RL). In this scenario, it is important to learn a →

continuous control visual reinforcement learning generalizable policy generalization gap distractors

发现论文，激发创造

深度强化学习的泛化评估

通过引入基准测试和实验协议，我们对深度强化学习中不同泛化方案的优点进行了系统评估，并发现与特定针对泛化的专门方案相比，“vanilla” 深度 RL 算法的泛化能力更强。

Oct, 2018

探究连续深度强化学习中的泛化能力

本文通过深度增强学习模型下的不确定性源和基准测试来研究面临的泛化挑战，并评估了改进泛化性能的几种技术，总结了迄今为止最稳健的技术。

Feb, 2019

分解视觉机器人操作中的模仿学习普遍化差距

模仿学习中泛化难题的困难源自于视觉机器人操作中的因素变化，作者研究了模拟仿真和实际机器人任务中不同因素的泛化难度，并设计了一个新的基准测试用来评估泛化效果。

Jul, 2023

关于可重参数化强化学习中的泛化差距

研究重点在于利用再参数化技巧解决强化学习的泛化问题，并利用监督学习和迁移学习理论分析其推广能力，结果证明推广能力与环境转移、回报和策略函数类等因素有关。

May, 2019

深度 Q 学习中行动泛化差距的表征

该研究研究了深度强化学习中离散行动空间中的行动泛化能力，发现 Deep Q-Networks 仍能以较小的行动泛化差异在简单领域中实现行动泛化

May, 2022

规范化增强视觉强化学习的泛化能力

本文探讨将规范化技术整合到视觉增强学习方法中，以提高其泛化性能，并使用两种规范化技术，CrossNorm 和 SelfNorm，在 DMControl Generalization Benchmark 和 CARLA 上进行实验证明了该方法的有效性并只会对样本效率略微影响。

Jun, 2023

量化强化学习的泛化能力

本文研究了深度强化学习中的过拟合问题，并使用程序生成的环境来构建不同的训练和测试集，其中引入了一个名为 CoinRun 的新环境，用作强化学习中泛化的基准。使用 CoinRun，作者发现代理程序会对相当大的训练集过拟合，还展示了更深层次的卷积体系结构以及传统监督学习中的方法，包括 L2 正则化，dropout，数据增强和批标准化等，能够提高泛化能力。

Dec, 2018

离线强化学习中的泛化缺陷

该研究通过比较在线学习和离线学习等方法的泛化能力，引入离线学习泛化性能评估的新基准，并发现离线学习算法在新环境中的表现不如在线学习算法，而增加数据多样性能够提高离线学习算法在新环境中的性能。

Dec, 2023

强化学习泛化中超参数及其相互依赖的实证研究

该研究分析了强化学习中的超参数对泛化性能的影响，同时提出了一些经验性的指标来帮助理解超参数与泛化性能之间的复杂关系。

Jun, 2019

无监督环境设计中有效的多样性

利用强化学习的自适应课程和基于新颖距离测量的方法训练代理来适应不同的环境设计，与其他无监督环境设计方法相比，证明了本方法在文献中使用的三个不同基准问题的多样性和有效性。

Jan, 2023