Mar, 2021

基于递归分类的基于样例策略搜索替代奖励方法

HTML
PDF
TL;DR本文介绍了一种强化学习的算法，可以更加方便地让用户指定任务，通过提供成功结果的示例来代替复杂且需要技术专业知识的奖励函数。该方法不需要中间奖励函数的学习，仅仅依靠转移和成功结果来学习价值函数，从而需要调整的超参数较少并且代码读起来更加简单易懂。实验结果表明，此方法优于先前学习显式奖励函数的方法。
发现论文，激发创造
  • 基于遗憾的马尔可夫决策过程奖励引导方法

    本论文将奖励函数规范的问题视为偏好引出问题，并旨在在仍允许产生最优或接近最优策略的情况下，最小化必须规定奖励函数的精度。通过使用极小极大后悔准则来计算只有部分奖励信息的MDP的健壮策略，然后演示如何使用边界查询高效引出奖励信息，以减少后悔，使用后悔减少作为选择适当查询的手段。实证结果表明，基于悔恨的奖励引出为生产接近最优策略提供了一种有效的方式，而不需要精确定义整个奖励函数。

    May, 2012

  • 强化学习中任务规范的统一

    介绍了一种RL任务形式化的方法，通过简单的构造实现了不同任务设置的统一，包括状态转移折扣的概括；并拓展了标准学习构造和部分理论结果，提供了一个可理解和可靠的形式化框架来构建理论和简化算法使用和开发。

    Sep, 2016

  • 从示范中学习任务规范

    本文提出了一种从机器人演示中学习非马尔可夫奖励的方法，通过最大后验概率推断问题，采用最大熵原理推导出演示似然模型，并用有效的方法在候选规范的大池中搜索最有可能的规范，实验表明学习规范有助于避免由于即席奖励组合而经常出现的常见问题。

    Oct, 2017

  • 奖励机器：在强化学习中利用奖励函数结构

    该论文介绍了如何使用奖励机制来支持强化学习中的学习过程，并探讨了如何通过奖励机制结构的利用，来提高样本利用率和最终策略的质量。

    Oct, 2020

  • 关于马尔可夫奖励的表现力

    本论文研究奖励作为捕捉代理应执行任务的方式的表达能力，并针对可期望的三种新的任务抽象概念（接受的行为集、行为的偏序关系或轨迹的偏序关系），提供了一组构造马尔可夫奖励函数的多项式时间算法，使代理能够优化每种类型的任务，并正确判断不存在这种奖励函数的情况。最后通过实证研究证实了理论发现。

    Nov, 2021

  • 论学习奖励函数的脆弱性

    本文研究了基于奖励学习的优化过程中，由于训练数据集的变化或奖励模型的设计问题导致重新学习变得困难的问题，强调了需要在文献中加入更多的基于重新训练的评估方法。

    Jan, 2023

  • 对比例子为基础的控制

    基于示例的学习方法提出了一种离线控制方法，该方法学习了一个隐式模型来表示多步转变的Q值，并在状态和图像离线控制任务中优于基准方法并展现了对数据集规模的提升和鲁棒性。

    Jul, 2023

  • 关于马尔可夫决策过程的奖励结构

    马尔可夫决策过程在强化学习中起着关键作用，本研究探讨了多种与强化学习相关的'成本'，研究了策略评估的样本复杂度，并开发了一种具有实例特定误差界限的新估计器；在在线遗憾最小化设置下，通过引入基于奖励的常量和基于潜力的奖励塑形技术，提供了理论上的解释；提出了一种安全强化学习研究方法，建立了重置效率的量化概念；针对具有多个奖励函数的决策过程，开发了一个能够计算出帕累托最优随机策略的规划算法。

    Aug, 2023

  • 检测隐藏的触发器：将非马尔可夫奖励函数映射到马尔可夫

    通过学习奖励机制，将非马尔可夫奖励函数映射为等效的马尔可夫函数，证明了奖励机制相对于确定性有限状态自动机对于建模单一自动机中的奖励依赖性的重要性，并通过在Officeworld领域学习黑盒非马尔可夫奖励函数以及在Breakfastworld领域学习奖励之间的依赖关系的有效性来验证了我们的方法。

    Jan, 2024

  • 关于马尔可夫奖励在表达多目标、风险敏感和模态任务方面的限制

    本文研究了强化学习中标量马尔可夫奖励函数的表达能力，并确定了其所能表达的局限性。具体而言，我们关注三类强化学习任务；多目标强化学习、风险敏感强化学习和模态强化学习。针对每个类别，我们推导出描述该类别问题可使用标量马尔可夫奖励函数的必要和充分条件。此外，我们发现标量马尔可夫奖励函数无法表达每个类别中大多数实例。因此，我们为了更全面地了解标准奖励函数能够和不能够表达的内容做出了贡献。除此之外，我们还特别提到模态问题作为一个新的问题类别，因为目前强化学习文献中还没有对其进行系统性研究。我们还简要概述了通过专门的强化学习算法解决我们讨论的某些问题的方法。

    Jan, 2024