通过对抗强化学习提高自动驾驶车辆控制的稳健性和安全性

Mar, 2019

通过对抗强化学习提高自动驾驶车辆控制的稳健性和安全性

Improved Robustness and Safety for Autonomous Vehicle Control with Adversarial Reinforcement Learning

Xiaobai Ma, Katherine Driggs-Campbell, Mykel J. Kochenderfer

TL;DR该研究比较了 Robust Adversarial Reinforcement Learning 和 Neural Fictitious Self Play 算法在自动驾驶场景下的性能表现，将学习问题定义为自主系统与环境干扰之间的两人博弈，扩展为半竞争的情况，结果表明对手更好地捕捉了有意义的干扰，从而产生了更好的驾驶效率和减少了与传统强化学习方法相比的碰撞率。

Abstract

To improve efficiency and reduce failures in autonomous vehicles, research has focused on developing robust and safe learning methods that take into account disturbances in the environment. Existing literature in robust

autonomous vehicles robust learning methods reinforcement learning adversarial learning semi-competitive setting

发现论文，激发创造

深度强化学习的认证对抗鲁棒性

本文研究基于深度神经网络的自主决策系统的安全性，提出了一种基于认证对抗鲁棒性的在线防御机制，该机制计算执行过程中状态 - 动作值的保证下限，以在可能存在对手或噪声导致输入空间最差情况偏离选择最佳行动，在行人碰撞回避场景和一个经典控制任务中，该方法显示出提高对噪声和对手的鲁棒性。

Oct, 2019

风险厌恶稳健对抗强化学习

本文提出了一种风险规避的强化学习算法，通过引入风险规避主角和风险趋避对手的方式，使用价值函数方差来建模风险，避免极端不良事件的发生，该算法在自动驾驶控制器上的实验中证明具有较高的鲁棒性。

Mar, 2019

强韧性对抗性强化学习

提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

Mar, 2017

学习感知交互式自主安全性

为了确保机器人等自主车辆的广泛部署，本文提出了一种新的闭环范式用于综合安全控制策略，明确考虑系统在可能的未来情景下的演变不确定性，通过物理动力学和机器人的学习算法共同推理，利用对抗深度强化学习进行放大，展示了该框架能够处理贝叶斯信念传播和大规模预训练神经轨迹预测模型引起的隐式学习。

Sep, 2023

自主车辆系统安全的鲁棒深度强化学习

本文提出了一种对抗性强化学习算法以最大化自主车辆动态控制对网络物理攻击的鲁棒性，通过分析状态估计过程并在博弈理论框架中研究了攻击者和自主车辆之间的互动以及提出了长短期记忆的使用，同时研究了数据处理的过程以提高面对网络物理攻击的鲁棒性。

May, 2018

基于强化学习的自我改进安全驾驶性能与黑盒验证算法

提出了一种自我完善的人工智能系统，通过黑盒验证方法，增强基于强化学习的自主驾驶代理的安全性能。在发现自动驾驶失败情况后，RL 代理的训练通过迁移学习重新初始化，以改善先前不安全的情况的表现

Oct, 2022

针对对抗性干扰的坚固安全强化学习

该论文提出了一种鲁棒安全强化学习框架，解决了在真实控制任务中应用强化学习时外部干扰的安全性问题，该框架通过建立鲁棒不变集合来保证安全，并采用约束强化学习算法进行策略优化。

Oct, 2023

FormulaZero：通过离线人口合成实现分布式鲁棒在线适应

本文针对多智能体环境下自主驾驶车辆行驶安全和效率平衡问题，提出了以自我博弈为基础的对抗生成网络和分布式鲁棒型优化方法，实验结果显示我们的方法能够在自主驾驶赛车中取得较好的性能和鲁棒性。

Mar, 2020

深度强化学习的对抗状态不确定性可证明鲁棒性

本研究基于对认证对抗鲁棒性研究的探讨，为深度强化学习算法提供在线认证鲁棒性的防御机制。该方法通过计算阈值来确定最佳的行动方案以应对各种可能存在的敌对行为和噪声干扰，从而有效提高了系统的鲁棒性。

Apr, 2020

自主驾驶的安全多智能体强化学习

本文介绍了一种利用深度强化学习解决自动驾驶问题的方案，不同于其他机器人任务，自动驾驶需要确保功能安全和在多个智能体情境下执行正确的决策，其中的主要挑战包括如何处理多个智能体的不确定行为，以及如何在 “Desires” 策略和难以控制的路径规划之间实现平衡。

Oct, 2016