AAAIDec, 2023

基于近似贝叶斯计算的概率离线策略排序

PDF
TL;DR使用专家数据来表征候选政策以及近似其整个性能后验分布，从而在最差、最好和平均情况下对候选政策进行排名的概率离线政策排名（POPR）框架。通过基于能量的近似贝叶斯计算（ABC）方法来估计后验分布，并通过伪似然度量来提高抽样效率。POPR-EABC 在不同实验环境中的离散和连续动作空间下对政策进行评估，有助于在实际部署之前对候选政策进行概率比较。
offline policy rankingprobabilistic offline policy rankingoff-policy evaluationpolicy valuescandidate policies
发现论文，激发创造
  • OPERA：多个估计器加权汇总的离线自动策略评估

    提出了一个新的、自适应混合使用一组离线策略评估器的算法，该算法不依赖于显式选择，并证明了该评估器对政策评估具有一致性和几个可取的属性。此外，还证明了与其他方法相比，该评估器可以在医疗保健和机器人技术方面选择更高性能的策略，为离线强化学习中的通用、估计器不可知的离线策略评估框架的易用性改进做出了贡献。

    May, 2024

  • 监督离线排序

    本研究提出了一种监督式非政策排名方法，利用离线政策数据和已知性能的政策对一组目标政策进行排名，并通过一个基于层次 Transformer 的政策得分模型来实现。实验证明，这种方法在排名相关性、遗憾值和稳定性等指标上优于基准方法。

    Jul, 2021

  • POPO: 悲观离线策略优化

    本文主要针对离线强化学习中的价值函数方法，提出了一种名为 POPO 的悲观离线策略优化算法，它学习了一种悲观的价值函数以获取强策略，相比于多个最先进的算法，在高维状态和动作空间中表现出色。

    Dec, 2020

  • 离线优先经验回放

    提出了一种基于优先重现经验的离线强化学习算法，通过一类设计良好的优先级函数来更频繁地访问高回报的转移，从而缓解了分布移位问题并提高了算法性能。

    Jun, 2023

  • 超越奖励：离线引导偏好的策略优化

    该研究关注了离线基于偏好的强化学习（PbRL）的主题，引入了一种名为离线偏好指导策略优化（OPPO）的范式，通过一步过程模型化离线轨迹和人类偏好，不需要单独学习奖励函数，成功地模拟了离线偏好并胜过了竞争基线。

    May, 2023

  • 基于级联行为模型的排序策略双重稳健离线评估

    提出了一种新的基于级联假设的有偏差 - 无方差权衡评估器来评估推荐系统中的排名策略，在综合合成和真实数据实验中优于现有评估器。

    Feb, 2022

  • 学习排序的悲观离线策略优化

    本文研究基于数据采集的 “离线学习” 在推荐系统中的应用，提出了基于点击模型的悲观离线排序学习方法，经过实验和分析表明其优越性和通用性。

    Jun, 2022

  • 主动离线策略选择

    本文提出了一种新颖的顺序决策方法 —— 主动离线策略选择，该方法结合了在线交互和记录数据，利用基于贝叶斯优化和策略相似性的内核函数，通过多个基准测试，包括实际机器人应用，证明该方法改进了最新的离线策略评估估计和纯在线策略评估，解决了缺乏在线交互数据的策略选择问题。

    Jun, 2021

  • 深度离线评估的基准测试

    为了推动离线学习中的评估和选择复杂政策的发展，我们提供了一套用于基准测试的数据集和策略集，旨在提供一种标准化的进展度量方式，并对现有的算法进行评估。

    Mar, 2021

  • 离线策略比较与置信度评估：基准和基线

    本文通过在离线强化学习数据集上添加策略比较查询的方式创建了一个加置信度的离线政策比较基准 (OPCC)，并对一类基于模型的基线的风险与覆盖率进行了实证评估，结果表明某些基线变体具有优势，同时未来研究中还有大有可为的改进空间。

    May, 2022