Feb, 2022

选择性信用分配

PDF
TL;DR通过对选择性赋权的 TD 方法进行统一描述和理解，介绍了如何将赋权应用于基于值的学习和规划算法中，以调节预测和控制问题中的后向信用分配。在这个空间中，我们还确定了一些现有的在线学习算法，它们可以作为特例进行选择性分配信用，并增加了一些可以反事实分配信用的算法，使得信用可以从轨迹和策略之外进行分配。
reinforcement learningtemporal-difference algorithmsvalue-based learningbackward credit distributiononline learning algorithms
发现论文，激发创造
  • 事后信用分配

    本研究提出了一种基于过去决策优劣的后验学习方式，解决了强化学习中的信用分配问题，并通过实证分析展示其成功地解决了一系列信用分配难题。

    Dec, 2019

  • Hindsight-DICE：深度强化学习的稳定信用分配

    利用重要性抽样比率估计技术改进了策略梯度方法中的信用分配问题，解决了在顺序决策制定问题中缺乏评估反馈的挑战。

    Jul, 2023

  • 深度强化学习中的时间信用分配调查

    信用分配问题是强化学习中一个长期存在的挑战，通过对深度强化学习中的时间性信用分配进行研究，提出了一种统一的信用形式，并分析了现有方法在处理延迟效应、位置换位和行动影响不足方面的挑战，还介绍了评估信用分配方法的协议，并建议诊断不同信用分配方法困难来源的方法。该综述为新进入者和研究人员提供了领域概述，为学者在信用分配问题上开展新研究提供了连贯的视角，并提出了未来研究的潜在方向。

    Dec, 2023

  • 强化学习的模块化：通过算法独立性进行信用分配

    本研究提出了一种模块化信用分配的形式化理论，通过对算法自身的因果分析，将社会决策制定框架作为马尔可夫决策过程的更精细正式框架，证明了一些单步时序差分行为价值方法满足这一约束条件，而所有政策梯度方法都不满足该约束条件，传输学习的实证研究表明这种行为价值方法在要求对先前最优决策序列进行稀疏更改的情况下，比政策梯度方法具有更高的样本效率。

    Jun, 2021

  • 信用分配：发展类人智能代理人的挑战和机遇

    本研究使用基于经验决策的认知模型 IBLT 来测试不同的信用分配机制，并发现决策复杂性会影响人类表现，而不影响模型的表现。机器学习方法如 TD 方法和 Q 学习方法在人类能力匹配方面表现不佳，但在最终能够超越人类。IBL 模型在信用分配方面比其他模型表现更好，研究为未来 AI 系统的开发提供了洞察。

    Jul, 2023

  • ProMP: 近端元策略搜索

    本文研究 Meta-reinforcement learning 中信用分配的理论分析，提出了一种新的元学习算法，通过控制先适应和适应策略的统计距离，实现了高效和稳定的元学习。该方法导致出色的先适应策略行为，并在样本效率，墙钟时间和渐近性能方面始终优于以前的 Meta-RL 算法。

    Oct, 2018

  • 模型无关强化学习中的反事实信用分配

    本研究应用反事实的思想来解决强化学习领域中 action 对于未来奖励的影响以及技能和运气的区分问题，并提出了一种使用未来条件价值函数作为基准的策略梯度算法，以及加入了不确定因素的验证和实验，证明了该算法有效性和低方差的特点。

    Nov, 2020

  • 分层强化学习中的信用分配

    研究探讨了如何从常规多步强化学习的角度看待分层信用分配，并将其改进为能够提高代理性能的层次算法。

    Mar, 2022

  • 适应性时间顺序学分分配的配对权重

    本文旨在解决强化学习中最基本的关于时间信用分配问题，通过使用基于状态时的换算系数或基于更一般的由状态，所需格外步骤和奖励时间之间的函数关系的静态 / 动态配重方法，在学习 RL 策略的过程中使用元梯度方法学习这些分配函数从而提高性能。

    Feb, 2021

  • 随机计算图中的信用分配技术

    本文提出一种通用且高效的通过强化学习概念来解决梯度估计算法高方差问题的方法，其中包括引入价值函数、基线和评论家等概念，实现了对随机计算图的梯度下降优化。

    Jan, 2019