通过程序化关卡生成，照亮深度强化学习的泛化问题

Jun, 2018

通过程序化关卡生成，照亮深度强化学习的泛化问题

Illuminating Generalization in Deep Reinforcement Learning through Procedural Level Generation

Niels Justesen, Ruben Rodriguez Torrado, Philip Bontrager, Ahmed Khalifa, Julian Togelius...

TL;DR本文探讨了通过在训练中使用过程化生成的关卡如何增加模型的泛化性能，并研究了其与人类设计的关卡的关系。结果表明，通过降低难度、调整关卡设计，可以获得更好的性能表现，并进行了降维和聚类分析来评估关卡生成器的分布。

Abstract

deep reinforcement learning (RL) has shown impressive results in a variety of domains, learning directly from high-dimensional sensory streams. However, when neural networks are trained in a fixed environment, su

deep reinforcement learning procedural level generation generalization neural networks dimensionality reduction

发现论文，激发创造

基于强化学习的程序化内容生成 (PCGRL)

研究如何使用强化学习训练级别设计代理，将关卡设计视为游戏并将内容生成器本身学习，并探讨了三种不同的转换二维层次设计问题的马尔可夫决策过程，将其应用于三个游戏环境中。

Jan, 2020

从无到有生成关卡的学习

该论文提出了一种名为 GPN 的算法，通过代理玩游戏，学习可玩关卡的分布，从而实现自动生成游戏关卡，避免了人类设计的限制，并用 2D 地牢游戏训练和展示了该框架的能力。

Feb, 2020

利用程序生成技术评估强化学习

Procgen Benchmark 是一套 16 个生成环境的测试套件，旨在评估强化学习在样本效率和泛化性能方面的表现，为此提供了详细的实验协议，并经验证明多样性的环境分布是充分训练和评估 RL agent 的关键，从而促进了生成内容的广泛使用。我们使用此基准测试来研究模型大小的影响，并发现大型模型显著提高了样本效率和泛化性能。

Dec, 2019

量化强化学习的泛化能力

本文研究了深度强化学习中的过拟合问题，并使用程序生成的环境来构建不同的训练和测试集，其中引入了一个名为 CoinRun 的新环境，用作强化学习中泛化的基准。使用 CoinRun，作者发现代理程序会对相当大的训练集过拟合，还展示了更深层次的卷积体系结构以及传统监督学习中的方法，包括 L2 正则化，dropout，数据增强和批标准化等，能够提高泛化能力。

Dec, 2018

可控 3D 楼层生成器的学习

使用强化学习实现程序化内容生成（PCGRL），通过可计算、用户定义的质量度量训练智能体优化 3D 环境下针对 Minecraft 游戏的任务，生成多样化的游戏关卡，展示了 PCGRL 在 3D 环境下的应用和潜力。

Jun, 2022

优先级别回放

本研究提出了一种名为 PLR 的新方法，在深度强化学习中使用优先级重放机制来选择下一个训练级别，通过适当的训练级别采样，PLR 在 Procgen 基准测试上显著提高样本效率和泛化能力，并超过了以前的最佳结果。

Oct, 2020

网络随机化：增强学习中通用的简单技术

本文提出一种简单有效的技术，通过引入随机卷积神经网络打乱输入观测数据，在提高深度强化学习智能体的泛化能力方面取得了显著效果，并且通过 Monte Carlo 近似的推理方法来减少随机化引起的方差。我们在 2D CoinRun、3D DeepMind Lab 探索和 3D 机器人控制任务中展示了我们的方法的优越性，相比于其他正则化和数据增强方法明显更加优秀。

Oct, 2019

深度强化学习的泛化评估

通过引入基准测试和实验协议，我们对深度强化学习中不同泛化方案的优点进行了系统评估，并发现与特定针对泛化的专门方案相比，“vanilla” 深度 RL 算法的泛化能力更强。

Oct, 2018

通过分层强化学习在基于文本的游戏中实现泛化

本文介绍了一种基于知识图谱的 RL 代理的层次化框架，通过在高层次执行元策略将整个游戏分解为一组由文本目标指定的子任务，并通过知识图谱选择其中一个，然后在低层次执行子策略进行目标条件强化学习，实验结果表明，所提出的方法具有较好的泛化性能。

Sep, 2021

视觉元强化学习中泛化问题简述

该论文评估了特别设计用于泛化的算法 —— 元强化学习算法的泛化性能，发现在挑战性任务上，这些算法仍然存在严重的过拟合和扩展性问题，强调需要开发既能泛化又能扩展的元强化学习算法。

Jun, 2020