具有鲁棒性保障的安全增强学习的最优传输扰动

Jan, 2023

具有鲁棒性保障的安全增强学习的最优传输扰动

Optimal Transport Perturbations for Safe Reinforcement Learning with Robustness Guarantees

James Queeney, Erhan Can Ozcan, Ioannis Ch. Paschalidis, Christos G. Cassandras

TL;DR本研究提出了一种基于最优传输成本不确定性集的安全强化学习框架，通过离线学习实现效率高、理论支持强的无需对数据收集过程进行过多假设的具有鲁棒性、安全性能的表现。在真实世界的强化学习套件中证明了该方法的优越性。

Abstract

robustness and safety are critical for the trustworthy deployment of deep reinforcement learning in real-world decision making applications. In particular, we require algorithms that can guarantee robust, safe pe

deep reinforcement learning robustness safety optimal transport cost offline learning

发现论文，激发创造

最优传输辅助的风险敏感 Q-Learning

通过将最优输运理论融入 Q-learning 框架，本文提出一种风险敏感的 Q-learning 算法来增强智能体的安全性，以期在优化策略的期望回报的同时，最小化策略的稳态分布与预先定义的风险分布之间的 Wasserstein 距离，从而减少访问危险状态的频率并比传统的 Q-learning 算法更快地趋于稳定的策略。

Jun, 2024

风险感知强化学习基于最优输运理论

该论文以最优传输理论（OT）为基础，通过修改目标函数，提出了一种风险感知的强化学习框架，以确保决策的可靠性，并且在最大化预期回报的同时，尊重通过状态访问分布和期望风险配置之间的 OT 距离所规定的风险约束。通过利用 OT 的数学精度，论文提供了一种能够将风险考虑与传统强化学习目标相平衡的公式化方法，通过一系列定理来证明了风险分布、最优值函数和策略行为之间的关系。该研究通过 OT 的视角为强化学习提供了一个有前景的方向，确保奖励追求与风险意识的平衡融合。

Sep, 2023

在外科机器人环境中利用最优传输优化离线强化学习

介绍了一种新颖的算法 Optimal Transport Reward（OTR）标记，用于给离线轨迹分配奖励，并且使用少量高质量的专家示范来帮助计算奖励信号。通过在手术机器人学习领域展示 OTR 的有效性，强调其多样性和促进强化学习在各个领域上部署的潜力。

Oct, 2023

结合强化学习和最优传输的旅行商问题

利用熵正则化最优传输技术作为深度强化学习网络中的一层，以实现更快速的学习并在端到端训练期间强制执行分配约束和规定，从而对于解决组合优化问题的效率进行优化。

Mar, 2022

针对对抗性干扰的坚固安全强化学习

该论文提出了一种鲁棒安全强化学习框架，解决了在真实控制任务中应用强化学习时外部干扰的安全性问题，该框架通过建立鲁棒不变集合来保证安全，并采用约束强化学习算法进行策略优化。

Oct, 2023

离线模仿学习的最优输运

本文介绍一种基于 Optimal Transport Reward 标注的离线增强学习算法，通过算法赋予数据集中的未标注轨迹相似性度量作为奖励信号，实现数据驱动的决策制定策略学习，并在 D4RL 数据集上验证了其性能。

Mar, 2023

利用最优输运对对抗鲁棒性进行下界限制

本文研究了机器学习分类器对抗样本（躲避攻击）的鲁棒性，使用最优传输来表征在这一场景下可能的最小损失。作者应用该框架研究了高斯数据的情况，并探究了鲁棒性训练神经网络在 MNIST、Fashion MNIST 和 CIFAR-10 数据集上的最优分类性能与实际性能间的差距。

Sep, 2019

具有稳定性保证的安全基于模型的强化学习

该论文提出了一种考虑安全性的学习算法，利用 Lyapunov 稳定性检验的控制理论结果和动力学统计模型，得到具备可证明稳定性证书的高性能控制策略，并通过高斯过程先验进一步保证数据安全性和提高控制性能。在反演摆模拟实验中表现出安全性高、控制性能良好的特点。

May, 2017

网络上的模仿正则化最优输运：可证明的鲁棒性与物流规划应用

通过在网络上模拟学习、应用强化学习和逆向学习的方法，研究人员探索了网络系统在提高稳健性方面的新途径，并利用先验知识模拟了给定先验分布，证明了这种模型的稳健性和应用价值。

Feb, 2024

关于在观测扰动下安全强化学习的鲁棒性

本文研究了安全强化学习中观测对抗攻击的安全性和鲁棒性，并提出了两种新方法以最大化代价或奖励来攻击目标，同时提出了一种鲁棒性训练框架。

May, 2022