提出了一种基于符合预测的 OPE 方法，可以在给定的一定置信水平下输出包含目标策略真实奖励的区间，并通过不同的方法处理由于目标策略和行为策略之间差异导致的分布偏移，并在保持相同置信水平的情况下，相对于现有方法降低区间长度。

Apr, 2023

本文提出了一种名为 CoPPO 的算法，用于多智能体环境下的多项策略优化，并证明了该算法在优化理论基础上的联合目标后能够实现动态的学分分配，解决了多智能体系统中同时更新智能体策略时高方差的问题，并通过实验证明其在合作矩阵博弈和 StarCraft II 微观管理任务等典型多智能体环境下优于一些强基线，并与最新的多智能体 PPO 方法（即 MAPPO）相竞争。

Nov, 2021

基于数据驱动的方法预测后优化决策问题，使用非凸生成模型的情景预测区域构建了 Conformal-Predict-Then-Optimize（CPO）框架，保证了鲁棒性，并通过提供可视化的不确定性区域的语义化摘要，为最优决策提供了定性的直觉。

Oct, 2023

本研究通过提出一种基于乐观策略优化的方法（Optimistic Proximal Policy Optimization，OPPO），针对奖励稀少的领域，考虑了总收益的不确定性并在此基础上对策略进行乐观评估，从而优化自主代理的学习效果，实现了在表格任务上优于现有方法的结果。

Jun, 2019

本研究旨在解决多目标回归中的频率校准问题，通过对深度神经网络应用随机向量函数解决问题，结果表明该方法能有效保证各种数据集上的多目标回归问题的效率和准确性。

Jan, 2021

研究在线学习中常见的数据不全覆盖情况，提出 Constrained Pessimistic Policy Optimization (CPPO) 算法，基于模型类别的限制来表示悲观情况，算法可以在数据不全覆盖的情况下具有 PAC 保证。

Jul, 2021

基于对可信度预测 (CP) 的进展，我们提出了一种名为可信度预测编程 (CPP) 的方法，用于解决具有非线性约束函数和任意随机参数影响的机会约束优化问题 (CCO)。CPP 利用这些随机参数的样本和量化引理 (对于 CP 来说至关重要)，将 CCO 问题转化为确定性优化问题。我们还通过两个容易处理的重构 CPP：(1) 将量化引理写成一个线性规划问题及其 KKT 条件 (CPP-KKT)，(2) 使用混合整数规划 (CPP-MIP)。CPP 对 CCO 问题具有边际概率可行性保证，这与现有方法 (如样本近似和方案方法) 在概念上不同。虽然我们探讨了与样本近似方法的算法相似性，但我们强调 CPP 的优势在于它可以轻松扩展以包含不同的 CP 变体。为了说明这一点，我们提出了鲁棒可信度预测编程，以处理 CCO 问题中不确定参数的分布变化。

Feb, 2024

本文介绍了一种针对强化学习中离线学习的校正方法（COP-TD），并通过引入折扣因子解决了非线性函数近似中的问题，进一步分析了折扣 COP-TD 并提出了一种在线的软归一化惩罚，此方法在 Atari 视频游戏中比软归一化惩罚取得了更好的实际效果。

Jan, 2019

这篇论文介绍了一种名为 Transductive Off-policy PPO（ToPPO）的新型离策略 PPO 方法，通过引入离策略数据，提供了在 PPO 训练中结合离策略数据的理论依据和安全应用的指导，包括从离策略数据中得出潜在策略的政策改进下界的新型公式以及优化该下界的高效机制，并通过全面实验结果展示了 ToPPO 的良好性能。

Jun, 2024

介绍了一种基于最大后验策略优化的强化学习算法，并开发出两种离线策略算法，证明了它们在深度强化学习方面与现有方法的竞争力，并在连续控制方面提高了样本效率，避免了过早收敛和对超参数设置的鲁棒性。

Jun, 2018