本研究使用基于经验决策的认知模型 IBLT 来测试不同的信用分配机制，并发现决策复杂性会影响人类表现，而不影响模型的表现。机器学习方法如 TD 方法和 Q 学习方法在人类能力匹配方面表现不佳，但在最终能够超越人类。IBL 模型在信用分配方面比其他模型表现更好，研究为未来 AI 系统的开发提供了洞察。

Jul, 2023

本研究提出一种基于状态关联学习的方法来优化强化学习中时间差分方法的不足，并用其在 Atari 游戏的任务中获得了比现有技术快 25 倍的结果。

Feb, 2021

为了学习长期依赖性，本文提出了一种新算法，在过去状态中关联与当前状态相关的记忆，通过注意力机制实现长期跳跃连接，用于逐步向过去传递信用分配，该算法相对于有反向传播实现的算法具有更好的性能。

Sep, 2018

信用分配问题是强化学习中一个长期存在的挑战，通过对深度强化学习中的时间性信用分配进行研究，提出了一种统一的信用形式，并分析了现有方法在处理延迟效应、位置换位和行动影响不足方面的挑战，还介绍了评估信用分配方法的协议，并建议诊断不同信用分配方法困难来源的方法。该综述为新进入者和研究人员提供了领域概述，为学者在信用分配问题上开展新研究提供了连贯的视角，并提出了未来研究的潜在方向。

Dec, 2023

该论文介绍了一种使用轨迹空间平滑来学习指导奖励的算法，并阐明了该算法在解决强化学习中长期时序信用分配问题上的优越性。

Oct, 2020

本文提出了一个基于强化学习的路径规划方法，可以应用到多经纬系统，通过训练一个连续状态和动作的策略网络，使其具有理想的路径规划行为，该方法通过 LSTM 模块来编码不特定数量的状态，可以扩展到具有无限数量代理和维度的情形，同时使用低成本的硬件平台进行实现。实验表明所提出的方法能成功地使 4 个自主导航的飞行器在现实世界环境中无碰撞地导航。

Mar, 2022

本文摘要：本研究的目的是基于人类反馈对智能体进行政策学习，同时通过学习特征编码器结合学习反向模型，从而使得智能体能够向后模拟人类行为以推断人类行为背后的动机。

Apr, 2021

本文介绍了一种新的时间信用分配算法，使用深度神经网络将时间步骤分解为每个步骤，并采用 Transformer 语言模型学习轨迹状态的重要性和依赖性，可大幅提高回路强化学习的学习效率。作者在一组具有连续运动控制任务的 MuJoCo 上进行了广泛的实验，并证明了该算法的有效性。

May, 2019

通过对记忆长度和信用分配长度的定义，并设计简单可配置的任务来衡量这些不同的量，我们的实证结果揭示了 Transformers 可以增强 RL 算法的记忆能力，可以扩展到需要记住 1500 个步骤之前观察的任务，但 Transformers 并不改善长期信用分配。总之，我们的结果解释了 Transformers 在 RL 中的成功原因，同时也凸显了未来研究和基准设计的重要领域。

Jul, 2023

本文着重于构建一个具有考虑长期未来的模型，并展示如何利用它进行有效规划和探索，通过搜寻模型下的不可能轨迹来设计探索策略，并在两种学习环境中取得了比基线更快更高报酬的效果。

Mar, 2019