本文提出了针对强化学习的对抗攻击，并通过这些攻击提高了深度强化学习算法对参数不确定性的鲁棒性。我们展示了即使是一个简单的攻击也能成功降低深度强化学习算法的性能，并进一步使用工程丢失函数的梯度信息改进了攻击方法，导致性能进一步降低。这些攻击方法被用于训练中，以改善 RL 控制框架的鲁棒性。我们展示了在 Cart-pole，Mountain Car，Hopper 和 Half Cheetah 等 RL 基准测试环境中，对 DRL 算法进行对抗训练可以显著提高其对参数变化的鲁棒性。

Dec, 2017

本文研究基于深度神经网络的自主决策系统的安全性，提出了一种基于认证对抗鲁棒性的在线防御机制，该机制计算执行过程中状态-动作值的保证下限，以在可能存在对手或噪声导致输入空间最差情况偏离选择最佳行动，在行人碰撞回避场景和一个经典控制任务中，该方法显示出提高对噪声和对手的鲁棒性。

Oct, 2019

本研究基于对认证对抗鲁棒性研究的探讨，为深度强化学习算法提供在线认证鲁棒性的防御机制。该方法通过计算阈值来确定最佳的行动方案以应对各种可能存在的敌对行为和噪声干扰，从而有效提高了系统的鲁棒性。

Apr, 2020

利用强化学习中的对抗噪音和以聚集对手人口作为训练方法，改善了机器人领域中强化学习中的鲁棒性和泛化性能。

Aug, 2020

本文提出了一种基于对抗性先验的多样式强化学习方法，通过引入多种风格的先验知识，成功实现了机器人在不同风格下的运动控制和技能学习，无需人工设计奖励函数。

Mar, 2022

该研究针对被深度强化学习训练的腿式机器人关节执行器的对抗攻击进行了探讨，发现对执行器扭矩控制信号的对抗扰动会显著降低机器人的奖励并导致行走不稳定。作者使用黑盒对抗攻击策略，采用三种搜索方法在OpenAI Gym的环境下对四足机器人Ant-v2和双足机器人Humanoid-v2进行实验，证明差分进化方法可以高效地找到最强的扭矩扰动，并发现四足机器人Ant-v2容易受到对抗攻击的影响，而双足机器人Humanoid-v2相对稳定。因此，这种关节攻击可用于机器人步态不稳定的主动诊断。

May, 2022

本文探讨了深度强化学习策略中的鲁棒性问题，发现通过更自然的方式在黑盒设置中可以找到灵敏度方向，且相较于最先进的对抗性训练技术，普通训练技术可以使学习到的策略更加鲁棒。该实验结果可以为构建更加鲁棒的深度强化学习策略提供帮助。

Jan, 2023

本文提出了一种新的算法，可以推断关于动态系统参数的信息，同时从先前的观察中估计有关机器人状态的重要信息，并将其与 Adversarial Motion Priors 结合，实现了机器人在真实世界中稳定、灵活和自然的步态，从实验结果中发现相对于基线算法，我们提出的算法能够以更低的功耗遍历具有挑战性的地形。

Apr, 2023

通过离线博弈强化学习，用于合成高度鲁棒的安全过滤器以实现腿式机器人在不确定的、新颖环境中的安全操作。

May, 2024

本研究针对深度强化学习政策在真实世界应用中缺乏鲁棒性的问题，探讨了小状态扰动对其稳定性的影响。提出了一种改进的Dreamer V3架构，通过最大李雅普诺夫指数正则化来减少状态动态的混沌性，从而提高了学习政策对传感器噪声和对抗攻击的抵抗能力。这一方法大大增强了深度强化学习在实际应用中的适用性。

Oct, 2024