RL-ViGen：一种用于视觉泛化的强化学习基准

Jul, 2023

RL-ViGen：一种用于视觉泛化的强化学习基准

RL-ViGen: A Reinforcement Learning Benchmark for Visual Generalization

Zhecheng Yuan, Sizhe Yang, Pu Hua, Can Chang, Kaizhe Hu...

TL;DRVisual Reinforcement Learning 中的 generalization 问题是一个长期存在的挑战，该研究介绍了一个新的用于 Visual Generalization 的 Reinforcement Learning 基准测试框架（RL-ViGen），包含多样的任务和广泛的 generalization 类型，以便更可靠地评估 agent 的可视化 generalization 能力，并发现目前没有单一算法能够在所有任务中普遍占优势，旨在为未来创建适用于实际场景的通用视觉 generalization RL agent 奠定基础。

Abstract

visual reinforcement learning (Visual RL), coupled with high-dimensional observations, has consistently confronted the long-standing challenge of generalization. Despite the focus on algorithms aimed at resolving

visual reinforcement learning generalization rl-vigen benchmarks visual generalization rl agents

发现论文，激发创造

规范化增强视觉强化学习的泛化能力

本文探讨将规范化技术整合到视觉增强学习方法中，以提高其泛化性能，并使用两种规范化技术，CrossNorm 和 SelfNorm，在 DMControl Generalization Benchmark 和 CARLA 上进行实验证明了该方法的有效性并只会对样本效率略微影响。

Jun, 2023

MoVie: 基于模型的视图概括策略自适应

本文提出了一种名为 MoVie 的视觉模型策略适应方法，通过在测试期间实现视图泛化，无需任何明确的奖励信号和任何训练期间的修改，可显著提高目标任务的性能表现，这表明该方法在实际中应用于机器人技术具有巨大的潜力。

Jul, 2023

深度强化学习的泛化评估

通过引入基准测试和实验协议，我们对深度强化学习中不同泛化方案的优点进行了系统评估，并发现与特定针对泛化的专门方案相比，“vanilla” 深度 RL 算法的泛化能力更强。

Oct, 2018

视觉元强化学习中泛化问题简述

该论文评估了特别设计用于泛化的算法 —— 元强化学习算法的泛化性能，发现在挑战性任务上，这些算法仍然存在严重的过拟合和扩展性问题，强调需要开发既能泛化又能扩展的元强化学习算法。

Jun, 2020

利用程序生成技术评估强化学习

Procgen Benchmark 是一套 16 个生成环境的测试套件，旨在评估强化学习在样本效率和泛化性能方面的表现，为此提供了详细的实验协议，并经验证明多样性的环境分布是充分训练和评估 RL agent 的关键，从而促进了生成内容的广泛使用。我们使用此基准测试来研究模型大小的影响，并发现大型模型显著提高了样本效率和泛化性能。

Dec, 2019

通过视觉重写规则学习可推广行为

本文提出了一种使用规则来捕获游戏动态的深度强化学习代理方法，该方法不使用神经网络，且在多个传统游戏中表现出优异的性能，极高的样本效率和强大的泛化能力。

Dec, 2021

强化学习的鲁棒视觉域随机化

通过提出一种正则化方法，使得智能体在训练时只基于一个环境的变体进行训练，并在训练过程中对其学习到的状态表示进行正则化，以实现对不同领域的不变性，该方法比标准的域随机化技术更有效和鲁棒，并能实现相同的泛化分数。

Oct, 2019

Avalon: 使用程序生成世界的强化学习泛化基准

通过引入针对强化学习通用化的 Avalon 挑战集，旨在帮助深度强化学习系统更好地适应于新任务和不同的环境，该集合基于高度多样化的 3D 环境，要求机器人体现出导航、狩猎和采集等能力，在每个地图中生存下来，该挑战集不仅限于改变环境仍使用相同的奖励函数、世界动力学和动作空间，每个任务都要求机器人在复杂程度上有所提升，Avalon 挑战集包括高效的仿真器和基准库，可用于基本检测和评分，现有的标准强化学习基线在大多数任务上都有进展，但仍远非人类表现，说明 Avalon 挑战集足够具有挑战性，可进一步推动深度强化学习通用化研究的进展。

Oct, 2022

量化强化学习的泛化能力

本文研究了深度强化学习中的过拟合问题，并使用程序生成的环境来构建不同的训练和测试集，其中引入了一个名为 CoinRun 的新环境，用作强化学习中泛化的基准。使用 CoinRun，作者发现代理程序会对相当大的训练集过拟合，还展示了更深层次的卷积体系结构以及传统监督学习中的方法，包括 L2 正则化，dropout，数据增强和批标准化等，能够提高泛化能力。

Dec, 2018

利用学习目标改善元强化学习中的泛化能力

该论文介绍了一种新型元强化学习算法 MetaGenRL, 可以将多个复杂智能体的经验精炼为低复杂度的神经目标函数，并可以推广到不同于元训练的新环境中发挥作用，具有大幅增加采样效率的离线二阶梯度。

Oct, 2019