自我模仿学习中基于内在动机的探索改进方法研究

Nov, 2022

自我模仿学习中基于内在动机的探索改进方法研究

Towards Improving Exploration in Self-Imitation Learning using Intrinsic Motivation

Alain Andres, Esther Villar-Rodriguez, Javier Del Ser

TL;DR本文提出将内在动机与模仿学习相结合来优化探索行为，以解决在广泛应用的问题中由于奖励信号过于稀疏所带来的挑战，同时证明了在过程生成环境中，该方法可以取得优异的性能和更好的泛化能力，效率同等或更高。

Abstract

reinforcement learning has emerged as a strong alternative to solve optimization tasks efficiently. The use of these algorithms highly depends on the feedback signals provided by the environment in charge of informing about how good (or bad) the decisions made by the learned agent are.

reinforcement learning sparse reward signals imitation learning intrinsic motivation procedurally-generated environments

发现论文，激发创造

应用内在动机技术于强化学习在难度较高的探索环境中的评估研究

本文旨在探讨强化学习中的探索问题以及先锋内在动机技术对不同设计因素的可变性和易感性的影响，强调这些设计方面的谨慎选择以及环境和任务的探索要求，以保证公正比较。

May, 2022

稀疏奖励多智能体强化学习中基于好奇心的探索

本研究讨论了在稀疏奖励情况下深度强化学习方法的稀疏性会影响其样本效率，而内在动机学习是一种解决稀疏奖励问题的有效方法，文章将内在动机学习方法与 Go-Explore 框架相结合提出了一种叫 I-Go-Explore 的方法以缓解其所带来的 detachments 问题。

Feb, 2023

通过内在奖励调节行为：一项调查和实证研究

本文通过在一个类似于赌博机的并行学习测试平台中比较 14 个不同的回报机制，探索并比较不同的内在回报机制，重点突出了奖励和预测学习器之间的交互作用和内省预测学习器的重要性。结果表明，基于学习量的内在奖励可以生成有用的行为，如果每个学习器是内省的。

Jun, 2019

多智能体强化学习中基于内在奖励的协调探索

该论文介绍了一种为多智能体设计内在奖励的框架，以促进协调探索，然后开发了一种方法来学习如何动态选择若干探索方式以最大化外在奖励。通过在具有稀疏奖励的合作域和需要改变协调模式的具有挑战性的多阶段任务中进行实验证明了该方法的有效性。

May, 2019

基于惊奇的内在动机深度强化学习

本文研究了强化学习中探索在复杂环境下的挑战，提出了使用基于内在动机的复杂启发式探索策略来解决稀疏奖励下的任务，利用 MDP 转换概率建模，以最大化代理经历惊奇感为目标。实验表明，本文的策略能够在高维状态空间和策略外奖励下的各种环境下成功，并且性能好于其他启发式探索技术。

Mar, 2017

强化学习中内在动机调查

本文介绍了内在动机在深度强化学习中的作用，对不同内在动机的种类进行了归类并详细说明了各自的优点和局限性，并通过建立深度强化学习和内在动机模块相结合的框架，提出了建立更加完整的发展体系来应对大部分任务的方案。

Aug, 2019

基于模型的强化学习中的内在动机：简要综述

通过对智能体控制完成的问题广泛应用增强学习方法进行研究。基于发展心理学中的内在动机的概念，提出了一个系统性方法来确定内在动机的现有方法。该方法分为三类，分别为互补的内在奖励，探索策略和内在动机的目标。具有世界模型和内在动机的代理的架构被描述出来，以帮助提高学习能力，同时探讨了在这一领域开发新技术的潜力。

Jan, 2023

促进协同行为的内在动机

研究了内在动机作为勘探偏差在稀疏回报的协同任务的强化学习中的作用，提出了一种将代理器奖励于不能通过每个代理器单独的效应预测的行为的方法，并在机器人双臂操作和多代理者运动任务中验证了其有效性和效率。

Feb, 2020

自监督利用探索

本研究提出了一种基于内在动机的算法，采用自监督学习中的蒸馏误差作为新奇检测器，通过经验表明在十种难以探索的环境中，相对于基准模型，该方法能够更快地增长和获得更高的外部奖励，从而提高了在非常稀疏的奖励环境中的探索性能。

Feb, 2023

以混合目标为驱动的好奇心多智能体探索

本文提出了一种基于好奇心驱动的多智能体共探算法，旨在鼓励多智能体在合作环境中探索独特而有意义的动作以达到最佳表现。实验表明，这种好奇心驱动的探索方法能够有效促进多智能体整体探索并提升共同导航任务中稀疏奖励的 MARL 算法的表现。

Oct, 2022