Oct, 2023

悲观的离策多目标优化

PDF
TL;DR多目标优化的离线优化通过现有策略收集的数据进行优化；我们提出了一种悲观估计方法，基于倒数离差分数，可以轻松地插入现有的超体积计算公式进行优化。该方法不仅在理论和实验上改进了朴素的倒数离差分数估计方法，还可以通过策略梯度进行优化，在我们的所有实验中表现良好。
multi-objective optimizationoffline optimizationpessimistic estimatorinverse propensity scorespolicy gradients
发现论文，激发创造
  • 学习排序的悲观离线策略优化

    本文研究基于数据采集的 “离线学习” 在推荐系统中的应用，提出了基于点击模型的悲观离线排序学习方法，经过实验和分析表明其优越性和通用性。

    Jun, 2022

  • POPO: 悲观离线策略优化

    本文主要针对离线强化学习中的价值函数方法，提出了一种名为 POPO 的悲观离线策略优化算法，它学习了一种悲观的价值函数以获取强策略，相比于多个最先进的算法，在高维状态和动作空间中表现出色。

    Dec, 2020

  • 面对混淆因素的悲观主义：部分可观察马尔可夫决策过程中可证明高效的离线强化学习

    研究通过行为策略收集的数据集来学习优化策略的离线强化学习算法，并针对潜在状态的影响所产生的混淆偏差和最优策略与行为策略之间的分布转换问题，提出了代理变量悲观策略优化（P3O）算法。

    May, 2022

  • 双重悲观主义在分布式鲁棒离线强化学习中证明有效：通用算法与鲁棒部分覆盖

    本研究提出了一个新的算法框架用于分布鲁棒离线强化学习，该算法结合了一种灵活的模型估计子程序和双倍悲观的策略优化步骤，其关键在于通过特定的模型估计子程序，提高离线数据集对鲁棒策略的覆盖度，从而有效克服分布偏移问题，并在多种函数逼近近似方法中得到了良好地应用。

    May, 2023

  • 上下文多臂老虎机的离线策略优化：高效的谨慎性

    本文介绍了一种称为 `pessimistic policy optimization` 的算法，用于处理 contextual bandits 中的策略优化问题，并提供了对于这种方法的最佳统计估计。该算法运用监督学习的方法，在离线交互日志的基础上进行训练，非常适用于处理连续和离散行为空间的问题。

    Jun, 2023

  • 多目标策略优化的分布式视角

    本文提出了一种用于多目标强化学习的新算法，可以以一种无量纲的方式设置目标的偏好，并且通过学习行动分布和拟合参数策略来在高维实际机器人任务及模拟任务中展示了其有效性，从而找到一组非支配解空间。

    May, 2020

  • 悲观策略在离线强化学习中能被证明是高效的吗？

    本文提出了一种悲观的价值迭代算法（PEVI），它通过引入一个不确定性量化器作为惩罚函数来解决离线强化学习中因数据集覆盖不足而导致的不足问题，并在泛化情况下对其次优性建立了数据相关的上限。

    Dec, 2020

  • 基于悲观模型的部分覆盖离线强化学习

    研究在线学习中常见的数据不全覆盖情况，提出 Constrained Pessimistic Policy Optimization (CPPO) 算法，基于模型类别的限制来表示悲观情况，算法可以在数据不全覆盖的情况下具有 PAC 保证。

    Jul, 2021

  • 固定数据集策略优化中悲观主义的重要性

    本文研究了固定数据集策略优化算法的预期回报的最坏情况保证，并提出了一种统一的概念和数学框架来研究这个领域的算法，指出了朴素方法可能出现高估价值的情况。为了避免这种情况，可以使用悲观策略，该策略可以在数据集不完整的情况下实现良好表现，本文还给出了遵循悲观策略的算法家族，最后在一些实验中验证了这些理论结果。

    Sep, 2020

  • 通过反向多目标优化推断参数

    本文提出了一种数据驱动的逆优化模型，用于从具有噪声观测数据的决策中推断多目标决策问题的参数，并能够确定决策制定者对多个准则的偏好分布。该模型使用更复杂的逆优化公式，包括数学分析和算法，可估计关键参数、解耦和降噪的最优决策，并保证统计显著性。数值实验证实了该模型的有效性和算法的计算效率。

    Aug, 2018