通过基于冲突感知的梯度协调增强来改进视觉强化学习中的泛化性能

ICCVAug, 2023

通过基于冲突感知的梯度协调增强来改进视觉强化学习中的泛化性能

Improving Generalization in Visual Reinforcement Learning via Conflict-aware Gradient Agreement Augmentation

Siao Liu, Zhaoyu Chen, Yang Liu, Yuzheng Wang, Dingkang Yang...

TL;DR在视觉强化学习中，学习具有出色泛化能力以适应未知环境仍然具有挑战性但至关重要。本文提出了一种名为 CG2A 的通用策略梯度优化框架，将增强组合更好地融入视觉强化学习算法来解决泛化偏差问题，通过发展梯度协议求解器和引入软梯度手术策略来改善颇具变化的梯度幅度和梯度冲突。大量实验证明 CG2A 显著提高了视觉强化学习算法的泛化性能和样本效率。

Abstract

Learning a policy with great generalization to unseen environments remains challenging but critical in visual reinforcement learning. Despite the success of augmentation combination in the supervised learning gen

policy generalization visual reinforcement learning augmentation combination gradient magnitudes generalization bias

发现论文，激发创造

深度强化学习中的自动数据增强以实现泛化能力

本文通过比较三种方法，探究如何寻找适当的数据增强方式，并结合两个新的正则化项，以理论上的方式为某些 actor-critic 算法的数据增广提供支持，最终在 Procgen 基准测试上展示了在相对于标准 RL 算法提高了～40% 的测试性能。我们的代理优于其他针对 RL 中泛化改进的基线。此外，我们还展示了我们的代理学习出更能适应环境变化的策略和表示，包括不保留背景信息的变化。

Jun, 2020

深度学习图像增强的对抗策略梯度

提出了深度强化学习框架 Adversarial Policy Gradient Augmentation (APGA)，利用语义分割进行图像增强，实验表明该方法在医学图像分类任务中有较好的表现。

Sep, 2019

学习图形增强以学习图形表示

LG2AR 是一个自动图形增强框架，包括学习增强分布的概率策略和学习增强参数分布的概率增强头。研究表明， LG2AR 在 20 个图形级别和节点级别基准测试中，以线性和半监督评估协议为比较的无监督模型中，有 18 个基准测试达到了最先进的结果。

Jan, 2022

CASA: 冲突回避策略迭代，弥合政策改进和政策评估之间的差距

本文提出了一种模型无关的强化学习方法，通过对策略评估和策略改进之间的不一致性进行规范化，采取熵正则化策略改进，有效缓解两个 GPI 步骤之间的梯度冲突并避免落入次优解，该方法在 Arcade Learning Environment 上的实验证明在主要评估领域中优于几种强的基线。

May, 2021

一个高效的通用化视觉动作策略框架：基于控制感知增强和特权引导蒸馏

通过数据增强来解决在学习高维视觉观察中适应新环境及复杂视觉变化所面临的泛化问题，提出了学习控制感知掩码的方法以及通过预先训练的强化学习专家将知识传输给学生视觉动作策略来解决训练不稳定性问题。

Jan, 2024

通过增强数据进行的强化学习

本研究提出了一种名为 Reinforcement Learning with Augmented Data 的加强数据的强化学习算法，将图像数据进行数据增强、使用深度神经网络等算法，提取出了数据效率、推广性等方面的关键特征。实验结果表明，该算法可以在 DeepMind 和 OpenAI Gym 等常见测试用例中优于当前最先进的算法。

Apr, 2020

学习无关变量以实现策略泛化

本文研究机器学习领域中的强化学习问题，主要关注于学习能够适应不同环境的策略，探讨数据增强、元学习和对抗训练三种可能的策略泛化方法，发现数据增强方法是有效的，并研究了元学习和对抗学习作为替代的任务不可知方法的潜力。

Sep, 2018

CoViews：利用合作视图进行自适应增强对比学习

本文提出了一种学习高效自适应数据增强策略的对比学习框架，通过在训练过程中持续生成新的数据增强策略，无需任何监督，有效生成高质量的正负对，进而提升对比学习性能。实验证明，使用视图相关的增强策略训练优于使用所有视图共享的独立策略，在多个数据集和对比学习框架上验证了方法的一致优越性。

May, 2024

在模仿学习中借助数据增强提高游戏智能的泛化能力

通过数据增加方法改进了模仿学习代理在游戏人工智能中的泛化能力，取得了令人满意的结果。

Sep, 2023

基于特征的自适应数据增强用于图形对比学习

通过应用特征基于自适应数据扩充（FebAA）方法，可以提高自监督学习模型中的准确性，这基于图形对比学习和深层图形对比学习，通过维护数据关键特征和误差特征，可以有效消除数据外推问题。

Jul, 2022