安全强化学习作为 Wasserstein 变分推理：可解释性的形式方法

Jul, 2023

安全强化学习作为 Wasserstein 变分推理：可解释性的形式方法

Safe Reinforcement Learning as Wasserstein Variational Inference: Formal Methods for Interpretability

Yanran Wang, David Boyle

TL;DR本研究提出了一种新颖的自适应 Wasserstein 变分优化（AWaVO）方法，利用正式方法提供奖励设计、训练收敛的透明度和顺序决策的概率解释，解决了序列决策问题中奖励函数的解释和相应最优策略的挑战。

Abstract

reinforcement learning or optimal control can provide effective reasoning for sequential decision-making problems with variable dynamics. Such reasoning in practical implementation, however, poses a persistent ch

reinforcement learning sequential decision-making reward function probabilistic inference adaptive wasserstein variational optimization

发现论文，激发创造

通过变分推断实现基于结果的强化学习

通过提出一种新的变分推断形式，从环境交互中直接学习良好的奖励函数，并使用新的概率贝尔曼反演运算符，发展了一种离线策略算法来解决目标导向任务，该方法消除了手工制作奖励函数的需要，并对各种机械操纵和运动任务产生了有效的目标导向行为。

Apr, 2021

Wasserstein 对抗性模仿学习

本文研究 Imitation Learning，结合 Optimal Transport 提出 Wasserstein Adversarial Imitation Learning 来更高效地解决 inverse reinforcement learning 中 reward function 问题。在机器人实验中，该方法只需一个 expert demonstration 即可实现显著提升。

Jun, 2019

安全强化学习的约束变分策略优化

该研究通过引入新的期望最大化方法，并从概率推理的角度解决问题，将安全增强学习问题分解为凸优化和监督学习两个阶段，实现了更稳定和更高效的学习表现，并在连续机器人任务的广泛实验中取得了显著的约束满足性能和样本效率提升。

Jan, 2022

Wasserstein 变分推断

本文介绍了基于 Wasserstein 变分推断的一种新的近似贝叶斯推断方法，该方法使用了包括 f - 分布和 Wasserstein 距离在内的一种新的差异度量方式，通过 Sinkhorn 迭代，该技术可以获得非常稳定的无似然训练方法，并且可以用于隐式分布和概率编程，同时应用于多种自编码器实验中，对其鲁棒性和性能进行了测试。

May, 2018

序贯决策的假设解释学习

通过对专家行为的建模和学习，该论文提出了一种可解释的决策制定方法，使用 “假设” 结果的偏好来模拟专家的奖励函数，该方法将反事实推理集成到批量反向强化学习中，能够自然地适应历史记录依赖的环境，同时也满足现实世界决策制定的约束条件。

Jul, 2020

强化学习中的概率推理正确实施

强化学习中，通过马尔科夫决策过程的图形模型，以概率推理的方式对各状态 - 行为对的访问概率进行研究。本研究采用贝叶斯方法，严格处理了状态 - 行为优化的后验概率，并阐明了其在马尔科夫决策过程中的流动方式。通过引入变分贝叶斯近似方法，得到了一个可行的凸优化问题，建立的策略也能有效地进行探索。该方法称为 VAPOR，与汤普森抽样、K 学习和最大熵探索有着紧密的联系。通过一些实验，展示了深度强化学习版本 VAPOR 在性能上的优势。

Nov, 2023

Wasserstein 鲁棒性强化学习

该研究提出了一种名为 WR2L 的强化学习算法，它通过将 Wasserstein 约束和零阶优化方法结合起来解决了传统强化学习算法在现实世界应用中容易过拟合的问题，并在高维控制任务中得到了显著提升。

Jul, 2019

Wasserstein 逆强化学习在多目标优化中的仿真证明

本文证明了 Wasserstein 反向强化学习可以在有限次迭代中实现学习者的奖励值模仿专家的奖励值，同时可在多目标优化中，实现学习者的最优解的字典序问题模仿专家的最优解。

May, 2023

POMDP 的深层变分强化学习

本文提出了一种深度变分强化学习方法，该方法引入了归纳偏置，允许代理学习环境的生成模型并在该模型中执行推断以有效地聚合可用信息。通过在 Mountain Hike 和 flickering Atari 的实验中表明，我们的方法优于先前依赖于循环神经网络对过去进行编码的方法。

Jun, 2018

通过顺序函数空间变分推断进行连续学习

连续学习方法通过顺序贝叶斯推断模型对神经网络进行优化，使得神经网络对新任务的适应性更好、拥有更灵活的变分分布和更有效的正则化，从而实现更好的预测准确性。

Dec, 2023