基于利普希茨有界策略网络的强化学习的鲁棒性

May, 2024

基于利普希茨有界策略网络的强化学习的鲁棒性

On Robust Reinforcement Learning with Lipschitz-Bounded Policy Networks

Nicholas H. Barbara, Ruigang Wang, Ian R. Manchester

TL;DR该研究利用深度强化学习探讨了鲁棒策略网络的优势，通过分析其在振荡摆和 Atari Pong 等问题上的实证性能和稳健性，证明了具有小 Lipschitz 界限的策略网络相比由普通多层感知机或卷积神经网络组成的无约束策略在扰动、随机噪声和有针对性的对抗攻击方面更加稳健。此外，研究还发现选择一个具有非保守的 Lipschitz 界限和具有表达力的非线性层结构的策略参数化方法可以更好地平衡性能和稳健性的权衡，优于现有基于谱标准化的最新方法。

Abstract

This paper presents a study of robust policy networks in deep reinforcement learning. We investigate the benefits of policy parameterizations that naturally satisfy constraints on their lipschitz bound, analyzing

robust policy networks deep reinforcement learning lipschitz bound empirical performance adversarial attacks

发现论文，激发创造

Lipschitz 有界平衡网络

本研究提出了新的平衡神经网络参数化方法，该方法可以实现在训练期间的 Lipschitz bound 并提升强健性，并通过建立与凸优化、非欧几里得空间上的算子分裂和收缩神经微分方程的新连接来证明这些结果，在图像分类实验中表现出非常高的准确性和抵御对抗性攻击的能力。

Oct, 2020

通过 $l_∞$ 利普希茨策略网络提高强化学习对观测扰动的鲁棒性

我们提出了一种名为 SortRL 的新型鲁棒性强化学习方法，通过网络架构的角度改善 DRL 策略对观测扰动的鲁棒性，并设计了一个训练框架，解决给定任务同时保持对观测的鲁棒性。多个实验表明 SortRL 在不同扰动强度下实现了最先进的鲁棒性能。

Dec, 2023

使用 Lipschitz 界限训练鲁棒神经网络

通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

May, 2020

神经网络的 Lipschitz 界分析

本文提出了利用 Lipschitz Bound Estimation 保证深度神经网络对抗攻击鲁棒性的有效方法，并通过图形分析支持 CNN 获得非平凡 Lipschitz constant 的困难。同时，采用 Toeplitz 矩阵将 CNN 转换为完全连接的网络，并运用实验证明了在特定数据分布中实际 Lipschitz constant 与获得紧密界定之间存在的 20-50 倍的差距。针对不同网络架构在 MNIST 和 CIFAR-10 上进行全面实验和比较分析。

Jul, 2022

利普希茨有界深度神经网络的直接参数化

本文介绍了一种新的深度神经网络参数化方法，具有保证的 Lipschitz 界限，即对扰动的敏感性有限。该参数化不需要计算密集的投影或障碍项并可以通过标准梯度方法进行训练，在图像分类（MNIST 和 CIFAR-10）等方面有着良好的应用。

Jan, 2023

显式利普希茨值估计增强策略对扰动的稳健性

在机器人控制任务中，强化学习（RL）在模拟中训练的策略在部署到物理硬件上时常常出现性能下降的问题，本文研究了通过利普希茨正则化来改善近似值函数的梯度条件，从而提高训练后的鲁棒性。通过将利普希茨正则化与快速梯度符号方法相结合，我们的实验结果表明了这种方法在一些连续控制基准测试中的优势。

Apr, 2024

针对部分观测非线性系统的全约束和 Lipschitz 闭环学习

这篇论文提出了一种基于学习的控制策略参数化方法，可以用于非线性、部分观测的动态系统，并基于 Youla-REN 参数化和循环均衡网络模型，证明该参数化可以自动满足闭环系统稳定性和鲁棒性条件，可用于安全的学习控制，同时在模拟磁悬浮和倒置旋转臂上实现了稳定性和鲁棒性得到了提高。

Apr, 2023

神经网络策略中实施鲁棒控制保证

通过将人工神经网络用于构建通用非线性控制策略并结合凸优化投影层，本论文提出了一种能在保持鲁棒性的同时提高控制系统的平均性能的技术，同时在非鲁棒的深度强化学习（deep RL）方法的最坏情况稳定性方面也有所提高。

Nov, 2020

对抗性鲁棒的神经网络结构

从结构的角度改进了神经网络的鲁棒性，提出了一种基于架构参数的约束方式，通过单变量对数正态分布逼近了整个网络的 Lipschitz 常数，累积函数约束分布参数可满足信赖度要求，结果表明该算法比各种 NAS 算法搜索的拥有对抗性训练的神经体系结构以及高效的人工设计模型都有更好的表现，对不同数据集进行了多种攻击。

Sep, 2020

策略平滑强化学习的奖励认证

本文提出了一种通用的黑盒认证方法，能够在各种 $l_p$ 范数边界扰动下直接认证平滑策略的累积奖励，并扩展了在动作空间上认证扰动的方法。我们利用 f - 分布度量原始分布与扰动分布之间的差异，并通过求解凸优化问题确定认证边界。理论分析和实验结果表明，我们的方法不仅提高了平均累积奖励的认证下界，而且比最先进的技术更高效。

Dec, 2023