Wasserstein 不确定性下的马尔科夫决策过程稳健 Q 学习算法

Sep, 2022

Wasserstein 不确定性下的马尔科夫决策过程稳健 Q 学习算法

Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty

Ariel Neufeld, Julian Sester

TL;DR我们提出了一种新的 $Q$-learning 算法，用于解决分配鲁棒的马尔可夫决策问题。我们证明了算法的收敛性，并提供了几个示例来说明我们算法的可处理性以及考虑分布稳健性在解决随机最优控制问题时的好处，尤其是在实践中估计的分布出现错误时。

Abstract

We present a novel $Q$-learning algorithm to solve distributionally robust markov decision problems, where the corresponding ambiguity set of transition probabilities for the underlying Markov decision process is

$q$-learning distributionally robust markov decision problems wasserstein ball stochastic optimal control problems

发现论文，激发创造

基于 Wasserstein 距离的数据驱动分布鲁棒优化：性能保证和可行重构

研究使用 Wasserstein metric 中有限训练数据集，构建球形分布空间来解决分布鲁棒优化问题，并阐述其在投资组合优化和不确定性量化等领域的实用性和性能保证。

May, 2015

Wasserstein 分布鲁棒卡尔曼滤波

研究分布鲁棒平均误差估计问题，提出分布鲁棒 Kalman 滤波器以对抗模型风险，使用非凸的 Wasserstein 不确定性集合中的正态分布，通过可行的凸规划以 Frank-Wolfe 算法计算方向搜索子问题的解。我们展示了最优估计器和最不利分布构成了一种纳什均衡。

Sep, 2018

通过 Wasserstein 分布稳健优化桥接贝叶斯和极小值均方误差估计

提出了一种基于 Wasserstein 模糊集的分布鲁棒的最小均方误差估计模型，该模型可以被视为一个零和博弈，其中一个统计学家选择估计器，另一个虚构对手选择一个先验，通过最小化和最大化预期的平方估计误差来实现其目标。

Nov, 2019

Wasserstein 分布稳健随机控制：一种数据驱动的方法

研究了一个基于 Wasserstein 分布的鲁棒控制策略问题，提出了一个可计算的值迭代算法和策略迭代算法，并通过动态规划和 Kantorovich 对偶理论的分析，在保证置信水平不降低的情况下，构造了一个多阶段性能保证和最优分布鲁棒控制策略。

Dec, 2018

方差减少的分布鲁棒 Q 学习的样本复杂性

本论文提出了两种模型无关的算法，分别是分布鲁棒的 Q-learning 及其方差缩减的版本。这些算法可在处理分布移位时有效地学习强大的策略。在一系列数值实验中，这些算法的理论发现和效率得到了证实。

May, 2023

Wasserstein 分布鲁棒优化：机器学习中的理论和应用

此论文介绍了基于 Wasserstein 分布鲁棒优化的数据驱动决策方法，能够解决样本有限、参数不确定的情况下，采用仅仅通过数据学习决策的问题，绕过测试样本不能涵盖所有情况的问题，具有良好的效果且容易计算。此方法对于分类、回归等基本学习任务有很好启示作用。

Aug, 2019

带有 Wasserstein 约束的强化学习

本文提出了一种使用 Wasserstein 距离测量参考转换核扰动的 Robust Reinforcement Learning 算法 -WRAAC，该算法解决了当前学习算法中对于系统动态的鲁棒性不够精确的问题，并且在 Cart-Pole 环境中得到了验证。

Jun, 2020

使用 Wasserstein 距离的分布鲁棒方法实现遗憾最优控制

本文提出了一种基于分布鲁棒性的方法来控制线性离散动态系统，在随机加性干扰作用下具有二次成本。假设干扰过程的基础概率分布为未知的，但被认为位于给定的分布半径球中，用 Wasserstein 距离求得。在此框架中，设计了严格因果线性干扰反馈控制器来最小化最坏情况下期望遗憾。通过对最优运输问题的对偶理论建立，可将此遗憾最小化控制问题重新等价为一个可行的半定编程问题。该等效对偶公式还允许我们确定中心分布与最坏情况下分布之间的最坏情况下期望遗憾。

Apr, 2023

使用 Wasserstein 距离进行极小极大统计学习

本论文基于 Wasserstein 空间的球体不确定性集合，提出了用于统计学习的极小极大框架，并证明了涉及原始极大似然问题的覆盖数特性的一般化界限。作为一个具体的例子，我们为基于传输的域自适应问题提供了推广保证，其中源域和目标域分布之间的 Wasserstein 距离可以可靠地从未标记样本中估算。

May, 2017

使用 Wasserstein 度量的分布鲁棒优化分解算法

本文研究了基于 Wasserstein 距离的分布鲁棒优化问题，将其归约为半无限规划问题，并提供了求解非线性模型的交换算法和凸情况下基于分离预言的中心割面算法，通过对分布鲁棒广义 logistic 回归模型的数字实验表明，该算法无论是在预测精度上还是在标准误差方面都表现得更好。

Apr, 2017