CROP: 基于紧凑重塑观察处理的分布偏移鲁棒性强化学习

IJCAIApr, 2023

CROP: 基于紧凑重塑观察处理的分布偏移鲁棒性强化学习

CROP: Towards Distributional-Shift Robust Reinforcement Learning using Compact Reshaped Observation Processing

Philipp Altmann, Fabian Ritz, Leonard Feuchtinger, Jonas Nüßlein, Claudia Linnhoff-Popien...

TL;DR本文提出 Compact Reshaped Observation Processing (CROP) 方法，通过减少用于策略优化的状态信息来提高数据效率和泛化能力，为完全可观测的观察和行动空间制定了三个 CROP，并在分布式安全格网世界中进行了实证展示。同时，与两个不同大小的程序生成的迷宫进行了基准比较，表明了 CROP 的改进。

Abstract

The safe application of reinforcement learning (RL) requires generalization from limited training data to unseen scenarios. Yet, fulfilling tasks under changing circumstances is a key challenge in RL. Current sta

reinforcement learning generalization data efficiency observation processing crop

发现论文，激发创造

通过函数平滑证明强化学习的稳健策略

本文介绍了一种名为 CROP 的统一框架，该框架旨在提供针对行动和奖励水平的稳健性认证，通过局部平滑算法和全局平滑算法来保证措施的鲁棒性。CROP 被用于评估几种现有的 RL 算法，包括 Atari 游戏和 Highway、CartPole 等环境，并证明了认证的准确性。

Jun, 2021

零样本泛化的旋转、平移和裁剪

本文针对 Deep Reinforcement Learning 在视觉输入的情况下表现出色，但是通常训练时在固定的环境下训练，缺乏泛化能力，提出了使用 rotation 和 cropping 等方法来提高泛化能力，并在两个维度的街机游戏中进行了验证。

Jan, 2020

CROP：基于模型的线下策略优化的保守奖励

通过引入保守性估计奖励的方法，本论文提出了一种创新的基于模型的离线增强学习算法，名为 CROP，该算法通过同时最小化估计误差和随机动作的奖励来保守地估计模型训练中的奖励，从而实现保守的策略评估并帮助缓解分布偏移问题。在 D4RL 基准测试中，CROP 的性能与最先进的基准算法相当。值得注意的是，CROP 建立了离线和在线增强学习之间的创新连接，突出了通过采用在线增强学习技术对使用保守奖励训练得到的经验马尔可夫决策过程来解决离线增强学习问题的可行性。

Oct, 2023

无地图导航中的安全深度强化学习在线安全属性收集和优化

在实现深度强化学习 (DRL) 的真实场景中，安全至关重要。本文提出了一种名为在线属性的收集和改进 (CROP) 框架，以在训练阶段设计属性，用于识别不安全的相互作用并将其转化为安全属性，以在易受攻击的安全关键任务中使用。最终的评估结果显示与以往安全 DRL 方法相比，使用 CROP 计算违规指标更能提高返回值和降低违规次数。

Feb, 2023

本地特征交换在强化学习中的泛化

通过加入通道一致的局部置换技术（CLOP）作为一种新的规则化技术，以解决给模型造成的视觉泛化问题，该技术得到了验证，在 OpenAI Procgen 基准测试中，使用 CLOP 方法训练的强化学习代理比使用其他最先进技术的代理表现出更好的泛化能力。

Apr, 2022

通过增强数据进行的强化学习

本研究提出了一种名为 Reinforcement Learning with Augmented Data 的加强数据的强化学习算法，将图像数据进行数据增强、使用深度神经网络等算法，提取出了数据效率、推广性等方面的关键特征。实验结果表明，该算法可以在 DeepMind 和 OpenAI Gym 等常见测试用例中优于当前最先进的算法。

Apr, 2020

面向美学的图像剪裁增强学习（A2-RL）

本研究提出了一个弱监督美学感知强化学习 (A2-RL) 框架，将美学图像裁剪作为一个序列决策过程，并开发了一种美学感知奖励函数，使用 actor-critic 结构以端到端方式训练智能体，实验结果表明，我们的方法在使用较少的候选窗口和时间的情况下实现了状态 - of-the-art 的性能。

Sep, 2017

基于像素观测的逐州安全强化学习

本文提出了一种新的像素观测安全强化学习算法，通过引入潜在障碍函数学习机制，高效地编码未知危险区域的状态安全约束，并通过在潜在动力学上建立和学习潜在障碍函数以及同时进行策略优化的联合学习框架，从而在提高安全性和总预期收益方面取得显著的结果。在安全 - gym 基准套件上的实验评估表明，我们提出的方法明显减少了训练过程中的安全违规，并在安全收敛速度上比现有方法更快，同时在奖励回报方面取得了竞争性的结果。

Nov, 2023

使用低维观测滤波器的深度强化学习在视觉复杂游戏中的应用

本论文提出了一种低维观察过滤器，使深度 Q 网络代理能够在视觉复杂的现代视频游戏（Neon Drive）中成功玩耍。

Apr, 2022

应用强化学习和模仿学习优化农作物管理

本文提出了一种智能作物管理系统，采用深度强化学习（RL）、模仿学习（IL）和作物模拟技术，通过同时优化氮肥施用和灌溉，解决了对特定种植环境和作物寻找最佳管理实践的挑战。实验结果表明，该管理系统在不同观测情况下的训练策略均取得了更好的效果，并且部分观测策略可以直接在实际情况中使用。

Sep, 2022