Sep, 2023

STARC：一个用于量化奖励函数差异的通用框架

HTML
PDF
TL;DR为了解决使用强化学习解决任务问题，首先需要将任务的目标形式化为一个奖励函数。然而，对于许多实际任务来说，手动指定一个从不激励不良行为的奖励函数是非常困难的。因此，越来越流行使用奖励学习算法，试图从数据中学习奖励函数。但是，奖励学习的理论基础尚未完善。本文提出了一种解决这个问题的方法，即一类称为STARC（标准化奖励比较）度量的伪度量。我们证明STARC度量对最坏情况遗憾值有上界和下界，这意味着我们的度量是紧密的，并且具有相同属性的任何度量都必须与我们的度量等价。此外，我们还发现了早期作品中提出的奖励度量的一些问题。最后，我们通过实证评估验证了我们的度量的实际效果。STARC度量可以使奖励学习算法的理论和实证分析更加容易和有原则。
发现论文，激发创造
  • 通过内在奖励调节行为：一项调查和实证研究

    本文通过在一个类似于赌博机的并行学习测试平台中比较14个不同的回报机制，探索并比较不同的内在回报机制，重点突出了奖励和预测学习器之间的交互作用和内省预测学习器的重要性。结果表明，基于学习量的内在奖励可以生成有用的行为，如果每个学习器是内省的。

    Jun, 2019

  • 量化奖励函数的差异

    本文提出一种名为EPIC的距离度量方法，以量化两个奖励函数之间的区别，而不需要进行策略优化步骤，该距离具有不变性，可以高效地近似，并且能够有效地预测策略训练的成功，进而较好的限制最优策略的后悔

    Jun, 2020

  • 学习奖励函数的动态感知比较

    学会学习奖励函数对于让智能代理在现实世界中得以应用非常重要。本研究通过提出Equivalent-Policy Invariant Comparison(EPIC) 距离，解决了评估学习奖励方法的难题。同时，提出了Dynamics-Aware Reward Distance (DARD)这个新的奖励伪度量，使得对于奖励函数的比较在奖励塑形领域能够更加可靠。实验表明，基于DARD的奖励比较方法不需要进行策略优化，且在应对学习奖励函数时比基线方法更具有预测性。

    Jan, 2022

  • 快速学习的奖励设计

    研究如何选择奖励函数以提高强化学习的学习速度, 提出基于状态的奖励设计原则, 并提出线性规划算法以最大化行动差距和最小化主观贴现; 通过在表格环境中使用Q学习算法进行实验，表明设计奖励遵循一定的原则，如逐步增加接近目标奖励，可以加速学习。

    May, 2022

  • 解析奖励塑造：理解奖励工程对样本复杂性的益处

    本文阐述了在强化学习中选择适当的奖励设计方法对提高学习效率的重要性，并提出了一种将奖励设计融入强化学习框架的方案，并通过基于奖励设计所得到的样本效率的提高，证明了该方案在实践中的有效性。

    Oct, 2022

  • 论学习奖励函数的脆弱性

    本文研究了基于奖励学习的优化过程中，由于训练数据集的变化或奖励模型的设计问题导致重新学习变得困难的问题，强调了需要在文献中加入更多的基于重新训练的评估方法。

    Jan, 2023

  • 奖励一致性动力模型在离线强化学习中具有强大的泛化能力

    学习精确的动力学模型对于脱机强化学习非常重要，我们提出了奖励一致性动力学模型的概念，通过生成具有最高动力学奖励值的批次转换来改善脱机模型建立强化学习方法的性能。

    Oct, 2023

  • 通过奖励函数优化进行行为对齐

    通过使用双层目标的新框架，将辅助奖励与环境的主要奖励相结合，我们提供了一种集成设计者指定的启发式方法的鲁棒且有原则的方式，以解决现有方法的主要缺点，即使给出不对齐或指定不良的辅助奖励函数，也能始终导致高性能解决方案。

    Oct, 2023

  • 奖励模型学习与直接策略优化：从人类偏好中学习的比较分析

    通过系统比较强化学习从人类反馈中学习的范例与最近提出的直接偏好优化范例，我们向更深入地理解从人类偏好中学习迈进了一步。我们集中关注对数线性策略参数化和线性奖励函数的类别。

    Mar, 2024

  • 优化学习奖励函数的危险性：低训练误差并不能保证低后悔

    通过数学证明，该论文指出学习到的奖励模型的预期测试误差越低，最差情况的后悔也越小，然而对于任意固定预期测试误差而言，存在着导致误差和后悔不匹配的现实数据分布，该问题即使在使用常见的强化学习方法中同样存在。因此，该论文的理论结果强调了开发衡量学习到奖励模型质量的新方法的重要性。

    Jun, 2024