深度强化学习的对抗状态不确定性可证明鲁棒性

Apr, 2020

深度强化学习的对抗状态不确定性可证明鲁棒性

Certifiable Robustness to Adversarial State Uncertainty in Deep Reinforcement Learning

Michael Everett, Bjorn Lutjens, Jonathan P. How

TL;DR本研究基于对认证对抗鲁棒性研究的探讨，为深度强化学习算法提供在线认证鲁棒性的防御机制。该方法通过计算阈值来确定最佳的行动方案以应对各种可能存在的敌对行为和噪声干扰，从而有效提高了系统的鲁棒性。

Abstract

Deep Neural Network-based systems are now the state-of-the-art in many robotics tasks, but their application in safety-critical domains remains dangerous without formal guarantees on network robustness. Small perturbations to sensor inputs (from noise or adversarial examples) are often

deep neural networks robustness adversarial inputs reinforcement learning pedestrian collision avoidance

发现论文，激发创造

深度强化学习的认证对抗鲁棒性

本文研究基于深度神经网络的自主决策系统的安全性，提出了一种基于认证对抗鲁棒性的在线防御机制，该机制计算执行过程中状态 - 动作值的保证下限，以在可能存在对手或噪声导致输入空间最差情况偏离选择最佳行动，在行人碰撞回避场景和一个经典控制任务中，该方法显示出提高对噪声和对手的鲁棒性。

Oct, 2019

探索证明深度神经网络的对抗鲁棒性

本研究论文论述了如何使用深度神经网络验证自动驾驶汽车的对抗鲁棒性问题，即证明网络的正确性以及研究自动控制器难度与机器学习的关系。

Sep, 2017

通过对抗强化学习提高自动驾驶车辆控制的稳健性和安全性

该研究比较了 Robust Adversarial Reinforcement Learning 和 Neural Fictitious Self Play 算法在自动驾驶场景下的性能表现，将学习问题定义为自主系统与环境干扰之间的两人博弈，扩展为半竞争的情况，结果表明对手更好地捕捉了有意义的干扰，从而产生了更好的驾驶效率和减少了与传统强化学习方法相比的碰撞率。

Mar, 2019

可验证强化学习的策略平滑算法

本文针对强化学习中的深度神经网络，提出了一种能够直接认证总奖励且无需在每一时间步骤都保持鲁棒性的有效方法，其中使用了采样平滑和基于样条插值的鲁棒性证明。

Jun, 2021

深度神经网络可靠性认证

本文对深度神经网络抗对抗攻击的可靠性进行了研究和分析，并提出了目前的防御方法以及相应的理论和实践意义和发现，最后在不同数据集上提供了全面的鲁棒性验证和训练方法。

Sep, 2020

鲁棒离线强化学习 -- 确认置信区间

开发了一种算法，并使用随机平滑来获得对给定策略的离线鲁棒性认证，证明了其有效性，并在不同环境实验证明了算法的正确性。

Sep, 2023

对抗性鲁棒深度强化学习需要重新定义鲁棒性

本文探讨了深度强化学习策略中的鲁棒性问题，发现通过更自然的方式在黑盒设置中可以找到灵敏度方向，且相较于最先进的对抗性训练技术，普通训练技术可以使学习到的策略更加鲁棒。该实验结果可以为构建更加鲁棒的深度强化学习策略提供帮助。