通过学习动机一致的内在回报自动设计奖励

Jul, 2022

通过学习动机一致的内在回报自动设计奖励

Automatic Reward Design via Learning Motivation-Consistent Intrinsic Rewards

Yixiang Wang, Yujing Hu, Feng Wu, Yingfeng Chen

TL;DR本文提出了一种基于动机的奖励设计方法，自动生成目标一致的内在奖励，以最大程度地增大期望的累积外在奖励，该方法在处理延迟奖励、探索和信用分配问题方面优于现有方法。

Abstract

reward design is a critical part of the application of reinforcement learning, the performance of which strongly depends on how well the reward signal frames the goal of the designer and how well the signal assesses progress in reaching that goal. In many cases, the extrinsic rewards p

reinforcement learning reward design intrinsic rewards motivation delayed reward

发现论文，激发创造

学习策略梯度方法的内部奖励

本文中，研究了在序列决策任务中，优化奖励函数对于强化学习的性能具有重要意义，提出了一种适用于基于策略梯度的学习代理的学习内在奖励的算法，并在性能上对比了使用该方法的强化学习代理和仅使用外在奖励的代理。

Apr, 2018

通过内在奖励调节行为：一项调查和实证研究

本文通过在一个类似于赌博机的并行学习测试平台中比较 14 个不同的回报机制，探索并比较不同的内在回报机制，重点突出了奖励和预测学习器之间的交互作用和内省预测学习器的重要性。结果表明，基于学习量的内在奖励可以生成有用的行为，如果每个学习器是内省的。

Jun, 2019

RLeXplore: 加速内在动机驱动的强化学习研究

在复杂环境中，由于设计和注释的高人力成本，外部奖励通常无法满足需求，这强调了内在奖励的必要性，通过提供辅助和密集的信号使代理能够无监督学习。本研究引入了一个统一的、高度模块化且可插拔的框架 RLeXplore，提供了八种先进内在奖励算法的可靠实现，并通过深入研究确定了关键的实现细节和合理的标准实践，填补了相关领域的研究空白。

May, 2024

基于模型的强化学习中的内在动机：简要综述

通过对智能体控制完成的问题广泛应用增强学习方法进行研究。基于发展心理学中的内在动机的概念，提出了一个系统性方法来确定内在动机的现有方法。该方法分为三类，分别为互补的内在奖励，探索策略和内在动机的目标。具有世界模型和内在动机的代理的架构被描述出来，以帮助提高学习能力，同时探讨了在这一领域开发新技术的潜力。

Jan, 2023

学习内在奖励能够捕捉什么？

研究探讨奖励函数是否可以成为有用的学习知识中心，提出了一种可扩展的元梯度框架来学习多次体验中有用的内在奖励函数。通过实验证明，学习奖励函数可以捕获关于长期探索和开发的知识，并且可以应用于其他类型的智能体和环境动态的变化。

Dec, 2019

多智能体强化学习中基于内在奖励的协调探索

该论文介绍了一种为多智能体设计内在奖励的框架，以促进协调探索，然后开发了一种方法来学习如何动态选择若干探索方式以最大化外在奖励。通过在具有稀疏奖励的合作域和需要改变协调模式的具有挑战性的多阶段任务中进行实验证明了该方法的有效性。

May, 2019

自我模仿学习中基于内在动机的探索改进方法研究

本文提出将内在动机与模仿学习相结合来优化探索行为，以解决在广泛应用的问题中由于奖励信号过于稀疏所带来的挑战，同时证明了在过程生成环境中，该方法可以取得优异的性能和更好的泛化能力，效率同等或更高。

Nov, 2022

互信息状态内在控制

本文提出了一种基于 Intrinsic motivation 的强化学习方法，其奖励函数被定义为智能体状态与周围状态之间的互信息，实现了比以前的方法更好的效果，包括在没有任何任务奖励的情况下首次完成了 pick-and-place 任务。

Mar, 2021

自我目标驱动的内在动机条件强化学习下的 Autotelic Agents：一个简短调查

本文介绍了发展性强化学习并提出了一个基于目标条件强化学习的计算框架，以解决本能动机技能获取问题，着重探讨了在自主系统中学习目标表示和优先级的现有方法，并讨论了在 intrinsically motivated skills acquisition 中的一些挑战。

Dec, 2020

学习如何激励其他学习智能体

本文提出了在多个智能体环境中，为每个 RL 智能体提供直接向其它智能体给予奖励的能力，并通过学习后的激励函数影响其它智能体，从而达到协作的目的。实验结果显示，在 challenging general-sum Markov games 中，相对于标准 RL 和对手建模代理，这种方法在寻找最优的分工方面取得了巨大的成功。

Jun, 2020