深度强化学习中的大型网络训练

Feb, 2021

Training Larger Networks for Deep Reinforcement Learning

Kei Ota, Devesh K. Jha, Asako Kanezaki

TL;DR本文讨论了深度强化学习中训练大型神经网络的困难之处，提出了使用 DenseNet 连接构建更大的神经网络、将表示学习与强化学习训练分离以及采用分布式训练方法缓解过拟合问题等三种技术来提高性能的方法，在几个具有挑战性的运动任务上的结果表明本文提出的方法的有效性超过了其他基线算法。

Abstract

The success of deep learning in the computer vision and natural language processing communities can be attributed to training of very deep neural networks with millions or billions of parameters which can then be trained with massive amounts of data. However, similar trend has largely

deep learning neural networks reinforcement learning performance improvement distributed training

发现论文，激发创造

深度强化学习中的深厚密集架构 (D2RL)

研究探究在多种模拟机器人学习基准环境下，使用更深层次、更密集连接的神经网络结构，对增强学习产生的影响，揭示出在本体感知和基于图像的观察下，采用稠密连接和深层网络有助于得到较好的表现。

Oct, 2020

强化学习学习

本文提出了一种名为深度元强化学习的方法，该方法使用递归网络，在一个强化学习算法上进行训练，但其递归动态实现第二个、完全分离的强化学习过程，通过一系列七个验验证明了这种方法的潜在优势并提出了其可能引发的神经科学方面的重要影响。

Nov, 2016

使用人类演示进行神经网络预训练的深度强化学习

通过使用小规模的人类演示来完成深度强化学习网络的预训练，可以更好地发现特征，并且可以使训练时间显著缩短，并可在 Atari 2600 游戏中实现。

Sep, 2017

增加输入维度能否改善深度强化学习？

本文通过提出在线特征提取器网络（OFENet）探究增加输入维度是否能够提高模型无关深度 RL 算法的性能和样本效率，证明了高维特征表征能够提高深度 RL 算法的学习效率和样本效率，并在数字实验中表现出更好的表现和样本效率比其他同类算法更先进的算法。

Mar, 2020

深度强化学习稀疏训练的现状

在深度强化学习领域，这项工作系统地研究了应用多种现有的稀疏训练技术在各种强化学习代理和环境中的可行性，结果发现，稀疏网络比密集网络在相同数量参数下表现更好，我们提供了有关如何改善稀疏训练方法有效性以及推进其在深度强化学习中应用的有益思路。

Jun, 2022

网络随机化：增强学习中通用的简单技术

本文提出一种简单有效的技术，通过引入随机卷积神经网络打乱输入观测数据，在提高深度强化学习智能体的泛化能力方面取得了显著效果，并且通过 Monte Carlo 近似的推理方法来减少随机化引起的方差。我们在 2D CoinRun、3D DeepMind Lab 探索和 3D 机器人控制任务中展示了我们的方法的优越性，相比于其他正则化和数据增强方法明显更加优秀。

Oct, 2019

深度强化学习中过拟合的研究

本论文对深度强化学习的过拟合现象进行了系统研究，发现过拟合可能会以不同方式发生，并且常用的随机性技术不一定能有效检测或预防过拟合，因此需要更加严谨的评估协议并研究感性偏差对泛化行为的影响。

Apr, 2018

深度强化学习中的预训练调查

该论文系统地评估了目前深度强化学习领域中采用的预训练方法，提出了分类体系、讨论了各个方面，并关注了未来可能遇到的挑战和需要探索的方向。

Nov, 2022

开放式任务空间中的人类时间尺度适应

本文介绍了一种训练 RL 代理器的方法，通过使用 meta-reinforcement 学习、基于注意力的内存结构和有效的自动课程表，该代理器可以快速适应开放式的 3D 问题，并具有自适应性。

Jan, 2023

探索深度和循环结构用于最优控制

本文研究了多层神经网络在控制方面的应用，特别是在连续高维动作任务中，通过强化学习训练后实现了控制策略，结果表明可以成功训练具有成千上万个参数的神经网络控制器，并比较了各种不同结构。文章讨论了这一问题与以往有监督知觉任务的区别，呈现了实验结果，并讨论了将深度学习技术应用于控制问题优化的未来方向。

Nov, 2013