数据增强下的卷积神经网络和视觉 transformer 促进深度 Q 学习稳定性

Jul, 2021

数据增强下的卷积神经网络和视觉 transformer 促进深度 Q 学习稳定性

Stabilizing Deep Q-Learning with ConvNets and Vision Transformers under Data Augmentation

Nicklas Hansen, Hao Su, Xiaolong Wang

TL;DR研究了在常见的离线政策 RL 算法中使用数据增强时不稳定性的原因，并提出了一种简单而有效的技术来稳定此类算法。在基于 DeepMind Control Suite 的一系列基准以及机器人操纵任务中，我们的方法极大地提高了 ConvNets 在增强下的稳定性和样本效率，并在具有未见视觉的环境中实现了与基于图像的 RL 中最先进方法的竞争性结果，同时证明了我们的方法可扩展到基于 ViT 的体系结构的 RL。

Abstract

While agents trained by reinforcement learning (RL) can solve increasingly challenging tasks directly from visual observations, generalizing learned skills to novel environments remains very challenging. Extensive use of data augmentation is a promising technique for improving generali

reinforcement learning data augmentation off-policy rl algorithms convnets vision transformers

发现论文，激发创造

深度强化学习中的数据增强再探

各种数据增强技术在基于图像的深度强化学习中已被提出。通过分析现有方法，我们可以更好地理解它们及其不同组件的效果，并确定如何更好地利用数据增强。此分析表明了如何通过选择不同的数据增强变换来计算目标 Q 值，以更加有原则地利用数据增强。此外，我们提出了一种名为切线传递（tangent prop）的正则化项，在若干领域中验证了我们的论点，并且与不同基准模型相比，在大多数环境中取得了最先进的性能，并在某些复杂环境中展现了更高的样本效率和更好的泛化能力。

Feb, 2024

深度强化学习中的自动数据增强以实现泛化能力

本文通过比较三种方法，探究如何寻找适当的数据增强方式，并结合两个新的正则化项，以理论上的方式为某些 actor-critic 算法的数据增广提供支持，最终在 Procgen 基准测试上展示了在相对于标准 RL 算法提高了～40% 的测试性能。我们的代理优于其他针对 RL 中泛化改进的基线。此外，我们还展示了我们的代理学习出更能适应环境变化的策略和表示，包括不保留背景信息的变化。

Jun, 2020

视觉强化学习中无界数据增强的配方

通过数据增强的广义方法 SADA，可以提高 Q - 学习算法在视觉观察训练中的稳定性和泛化能力，适用于各种数据增强方式。

May, 2024

通过增强数据进行的强化学习

本研究提出了一种名为 Reinforcement Learning with Augmented Data 的加强数据的强化学习算法，将图像数据进行数据增强、使用深度神经网络等算法，提取出了数据效率、推广性等方面的关键特征。实验结果表明，该算法可以在 DeepMind 和 OpenAI Gym 等常见测试用例中优于当前最先进的算法。

Apr, 2020

视觉强化学习中数据增强的全面调查

本文提供了关于数据扩增在视觉强化学习中应用的广泛评论。作者提出了一个统一的框架，研究了数据扩增技术在视觉强化学习中的作用，并提供了一些方法来更好地利用扩增数据。最后，作者还通过系统的实证评估，总结了本文的研究内容及未来研究工作的展望。

Oct, 2022

一个高效的通用化视觉动作策略框架：基于控制感知增强和特权引导蒸馏

通过数据增强来解决在学习高维视觉观察中适应新环境及复杂视觉变化所面临的泛化问题，提出了学习控制感知掩码的方法以及通过预先训练的强化学习专家将知识传输给学生视觉动作策略来解决训练不稳定性问题。

Jan, 2024

离线强化学习中的等变数据增强技术

我们提出了一种新的方法来解决离线强化学习中的泛化问题，通过学习动力学模型并检查其是否与固定类型的转换即状态空间中的平移等变，使用熵正则化增加等变集合并用结果转变的样本增强数据集，最后基于增强数据集使用现成的离线强化学习算法离线学习新策略，实验证明该方法可以大大提高对环境进行测试时的策略效果。

Sep, 2023

图像增强即所需：从像素中对深度强化学习进行正则化

该研究提出了一项简单的数据增强技术，可以应用于标准的无模型强化学习算法，从像素直接学习，无需辅助损失或预训练，并使用图像处理来规范化值函数，实现与 DeepMind 控制套件相关的现有模型的最高表现。

Apr, 2020

使用强化数据增强的对话状态跟踪

通过引入一种基于强化学习的框架和上下文新手发电机来解决神经对话状态追踪器的训练数据缺乏数量和多样性的问题，通过训练产生更多的高质量数据，极大地提高了神经状态追踪器的效果。

Aug, 2019

增强学习的简单噪声环境增强

本文介绍了针对强化学习 (RL) 的数据增强技术，旨在提高 RL 算法在不同环境下的表现效果，包括引入噪声、探索状态空间和改善训练数据的多样性。作者提出了两种新的增强技术，并在三种常用的 RL 算法和五个 MuJoCo 环境中进行实验研究，结果表明增强技术对增加回报有积极作用。

May, 2023