ICMLOct, 2021

离线强化学习算法：在线评估预算的重要性

PDF
TL;DR本文研究表明，对于深度离线强化学习算法的可靠比较，在线评估预算的重要性，提出采用 NLP 领域的报告工具（期望验证性能）报告深度离线强化学习算法在不同预算下的表现，并且通过使用该工具，当在有限预算内工作时，行为克隆方法往往比离线强化学习算法更有优势。
发现论文，激发创造
  • 离线约束深度强化学习中的营销预算分配

    提出一种基于值函数的强化学习方法来解决在线营销活动中利用离线数据进行预算分配的问题，该方法通过使用混合策略减少存储策略的数量，并实现了接近最优策略的效率，经过大规模的营销活动实验证明该方法优于其他基准方法。

    Sep, 2023

  • 离线强化学习的极简主义方法

    通过在在线强化学习算法的策略更新中添加行为克隆项并规范化数据，在保持简单性的同时，最大限度地提高了运行效率，从而实现了与现有离线 RL 算法相当的性能。

    Jun, 2021

  • 离线强化学习中的泛化缺陷

    该研究通过比较在线学习和离线学习等方法的泛化能力，引入离线学习泛化性能评估的新基准，并发现离线学习算法在新环境中的表现不如在线学习算法，而增加数据多样性能够提高离线学习算法在新环境中的性能。

    Dec, 2023

  • NeoRL: 一种近似于真实环境的离线强化学习基准

    本文提出了一个名为 NeoRL 的近实际场景离线强化学习基准，对现有的离线 RL 算法进行了评估，并提出了应该将策略的性能与确定性行为策略版本相比较，从而在现实中实现 RL 技术应用的验证和部署。

    Feb, 2021

  • 离线强化学习综述：分类、评估与开放性问题

    本论文提出一个在线学习和离线学习技术的归一化分类法，总结了离线 RL 领域的最新算法突破和现有基准的特性和不足，并提供了对未来研究方向的展望。

    Mar, 2022

  • 离线无模型机器人强化学习工作流程

    本文提出了一种实用的线下强化学习工作流程，类似于监督学习问题的工作流程，并演示了在几个模拟机器人学习场景和两个不同真实机器人上的三个任务中，使用此工作流程在没有在线调整的情况下生成有效策略的有效性。

    Sep, 2021

  • 离线强化学习与人类反馈的部署

    提出一种基于人类监督的强化学习在线部署框架，包含两种方法：一是通过模型选择和上置信区间算法自适应选择候选离线强化学习模型进行部署，二是在监督信号到达时在线微调模型。通过实证验证，这些方法有效地应用于机器人运动控制和交通信号控制任务中。

    Mar, 2023

  • 具有实时预算约束的安全离线强化学习

    本文从轨迹分布角度提出了基于 Trajectory-based REal-time Budget Inference (TREBI) 的解决方案，以解决离线情况下真实时间预算约束问题，理论上证明了收益和成本估计的误差界限，为 TREBI 提供性能保证。实验结果在广告应用中证明了 TREBI 在解决离线环境下的实时预算约束问题的能力。

    Jun, 2023

  • 用户交互离线强化学习

    本论文提出了一种算法，使用户可以同时解决由于性能不佳或行为不熟悉而导致的问题，通过调整运行时的设定，可以逐步调整最重要的超参数 —— 将学习的策略与原始策略之间的接近程度，并在策略降级或行为过于偏离熟悉行为时随时停止。

    May, 2022

  • 优化和基准测试离线强化学习算法

    本文研究离线强化学习，通过对 20 个实现选择进行实证研究来选择最佳实现方案，进而实现在数据集上的新最优状态，并提供了针对离线 RL 的 8 个普遍算法的性能基准进一步揭示数据分布对学习范式成功的影响，证明了之前某些结论受数据集的影响歪曲。

    Jun, 2023