Jan, 2024

关于马尔可夫奖励在表达多目标、风险敏感和模态任务方面的限制

HTML
PDF
TL;DR本文研究了强化学习中标量马尔可夫奖励函数的表达能力，并确定了其所能表达的局限性。具体而言，我们关注三类强化学习任务；多目标强化学习、风险敏感强化学习和模态强化学习。针对每个类别，我们推导出描述该类别问题可使用标量马尔可夫奖励函数的必要和充分条件。此外，我们发现标量马尔可夫奖励函数无法表达每个类别中大多数实例。因此，我们为了更全面地了解标准奖励函数能够和不能够表达的内容做出了贡献。除此之外，我们还特别提到模态问题作为一个新的问题类别，因为目前强化学习文献中还没有对其进行系统性研究。我们还简要概述了通过专门的强化学习算法解决我们讨论的某些问题的方法。
发现论文，激发创造
  • 强化学习中任务规范的统一

    介绍了一种RL任务形式化的方法，通过简单的构造实现了不同任务设置的统一，包括状态转移折扣的概括；并拓展了标准学习构造和部分理论结果，提供了一个可理解和可靠的形式化框架来构建理论和简化算法使用和开发。

    Sep, 2016

  • 非马尔可夫奖励强化学习

    研究了在具有非马尔可夫奖励的情况下，采用Q-learning和R-max算法和自动机学习算法相结合的方法用于策略学习并证明其中一些变体在极限状态下收敛到最优策略。

    Dec, 2019

  • 基于约束的强化学习的简单无回报方法

    本文探讨奖励自由强化学习和受限制的强化学习之间的联系，在标记MDP设置中，我们提出了一种简单的元算法，利用现有的奖励自由RL解算器，对受限制的强化学习问题进行直接求解， 在现有结果的基础上匹配最佳结果，同时在线性函数近似下，我们直接将其扩展到标记二人马尔可夫博弈的设置中，并提供了一个新的受限制的RL结果。

    Jul, 2021

  • 关于马尔可夫奖励的表现力

    本论文研究奖励作为捕捉代理应执行任务的方式的表达能力，并针对可期望的三种新的任务抽象概念（接受的行为集、行为的偏序关系或轨迹的偏序关系），提供了一组构造马尔可夫奖励函数的多项式时间算法，使代理能够优化每种类型的任务，并正确判断不存在这种奖励函数的情况。最后通过实证研究证实了理论发现。

    Nov, 2021

  • 深度强化学习中的嘈杂符号抽象：以奖励机器为案例研究

    本篇文章提出了一种特殊的POMDP优化问题，研究当使用Reward Machines作为奖励函数语言时，对于状态到符号语言的映射不确定的情况下，如何通过强化学习生成策略，并通过实验证明了这种方法的有效性和现有方法的局限性。

    Nov, 2022

  • 通过奖励塑造在基于情节的强化学习中利用多重抽象

    研究提出了一种基于奖励设计的强化学习算法，通过使用层次结构的抽象模型，将抽象层级中的解决方案用于指导更复杂领域的学习，从而提高了学习效率且具有实际应用价值。

    Feb, 2023

  • RLHF是否比标准RL更困难？

    这篇文章证明了，对于广泛的偏好模型，我们可以使用现有的算法和技术，直接解决基于偏好的强化学习问题，具有小的或没有额外成本。

    Jun, 2023

  • 多维马尔可夫奖励的表达能力

    我们研究了不确定性下的序贯决策中马尔可夫奖励的表达能力，通过将马尔可夫决策过程(MDPs)中的奖励函数视为代理行为的特征化手段，研究了是否存在一种标量或多维度马尔可夫奖励函数，使得这个集合中的策略比其他策略更具吸引力。我们的主要结果给出了这样的奖励函数存在的必要和充分条件，同时也证明了对于任意非退化的确定性策略集合，都存在一个多维度的马尔可夫奖励函数来描述它。

    Jul, 2023

  • 关于增强学习中客观规范形式表达能力的研究

    通过广泛比较17种强化学习目标规范形式的表达能力，我们发现不同形式主义存在多种限制，并未找到一种同时具有主导性表达能力和当前技术下优化简便性的形式主义。这些发现对策略优化和奖励学习有重要影响，并强调了未来研究在奖励学习方法中适应多种形式主义的需求，因为许多现有奖励学习方法隐含地假设所需目标可以用马尔可夫奖励来表达。我们的工作有助于更全面地了解不同强化学习目标规范形式的成本和收益。

    Oct, 2023

  • 突破极限：重塑强化学习中的奖励

    强化学习中，选择好的奖励函数是一个重要且具有挑战性的问题。本文提出了一种使用最大奖励而不是累积奖励的算法，适用于确定性和随机环境，并将其与现有的强化学习算法相结合。在实验中，我们研究了该算法在两个目标达成环境中的性能，并证明了其相对于标准强化学习算法的优势。

    Feb, 2024