本文提出了一种基于 Primal-Dual π Learning 的方法，利用线性对偶性更新价值与策略向量以逼近无穷时间和折扣因子为 1 的马尔可夫决策过程的最优策略，并给出了复杂度上界，并且这种方法还能应用于有限状态、有限动作空间以及随机转移概率模型下的计算问题，当情况许可下，此方法可以在次线性时间内解决平均奖励最大化的问题。

Oct, 2017

本文提出了一种基于 Primal-Dual-Critic 算法的离线约束强化学习模型，该算法不需要像以往模型那样需要浓度和强 Bellman 完备性等假设条件，仅需要集中性和价值函数 / 边际重要性加权实现等假设条件，并且在广泛的函数逼近验证中获得了良好的表现效果。

Jun, 2023

本文提出了一种新的 actor-critic 算法，叫做 Dual-AC，并通过多步引导，路径正则化和随机对偶上升算法有效地解决了极小极大优化问题，取得了几项基准测试的最佳表现。

Dec, 2017

通过使用一种通用的原始对偶框架，将经典优化和控制理论与基于值和演员 - 评论家强化学习方法结合，本研究旨在统一和整合现有技术，并为学习的策略施加附加约束。构建出的 $ exttt {DualCRL}$ 算法支持各种策略约束的组合，在训练过程中使用可训练的奖励修改实现自动处理，实验证明了该方法的有效性，并为系统设计者提供了多种策略约束的工具箱。

Apr, 2024

在这项研究中，我们通过实施 Lagrangian 和 Fenchel 对偶性，将原始约束问题重构为无约束原始 - 对偶优化问题，以设计算法解决约束凸性马尔可夫决策过程中的凸性泛函最小化问题，其中访问度量是凸约束。同时，通过将访问度量嵌入到有限维空间中，我们可以通过结合函数逼近来处理较大的状态空间。

Feb, 2024

在这篇论文中，我们提出了自适应原始 - 对偶（APD）方法用于安全强化学习（SRL），并分析和评估了该算法在实际环境中的性能。结果表明，与常数学习率情况相比，实际 APD 算法在训练过程中具有更好的性能和更稳定的训练结果。

Feb, 2024

本文介绍了一种新的基于模型且离线的强化学习算法，叫做随机原始 - 对偶 Q 学习，它能够通过任意行为策略的状态 - 动作观察来寻找接近最优策略，并且与标准的 Q 学习相比展现了更好的离线学习能力。

Oct, 2018

本文提出使用训练有优势 actor-critic 方法的深度策略网络统计优化对话系统，演示了在深度强化学习下优于高斯过程方法，可以有效地训练部分可观察马尔可夫决策过程的对话系统，有效提高学习速度，所有实验在 DSTC2 餐厅领域数据集上进行。

Jun, 2016

本文研究了马尔可夫决策过程 (MDP) 的最优策略在线估计问题，并提出了一类基于随机原始对偶法的方法，利用 Bellman 方程的内在极小极大对偶性进行优化。 这些方法具有小的存储空间和低的计算复杂度，通过观察新的状态转移更新值和策略估计的少数坐标。 对于无限时间折扣奖励 MDP，这些 SPD 方法使用 O (|S|^4 |A|^2σ^2/(1-γ)^6ε^2) 的迭代 / 样本数可以高概率地找到绝对 ε- 最优策略，对于有限时间 MDP，迭代次数为 O (|S|^4 |A|^2H^6σ^2/ε^2)。

Dec, 2016

本文提出了一种基于线性规划的原对偶优化方法，该方法针对有限时间或使用表格的强 RL 范式有较强的理论保证，采用函数近似和最小数据集假设解决了无限时间范式的算法问题，并在更具挑战性的平均回报设置下进行了分析。

May, 2023