神经启发的碎片化和回忆：解决好奇心中的灾难性遗忘

Oct, 2023

神经启发的碎片化和回忆：解决好奇心中的灾难性遗忘

Neuro-Inspired Fragmentation and Recall to Overcome Catastrophic Forgetting in Curiosity

Jaedong Hwang, Zhang-Wei Hong, Eric Chen, Akhilan Boopathy, Pulkit Agrawal...

TL;DR在大型环境中，深度强化学习方法在多个任务上表现出色，但在具有稀疏奖励的困难探索任务上仍然面临困难。本研究发现基于预测的内在奖励方法可能出现灾难性遗忘，并提出了一种名为 FARCuriosity 的新方法，通过碎片化和回溯来减轻灾难性遗忘问题，提升了在具有不同环境的游戏中的性能表现。

Abstract

deep reinforcement learning methods exhibit impressive performance on a range of tasks but still struggle on hard exploration tasks in large environments with sparse rewards. To address this, →

deep reinforcement learning exploration tasks intrinsic rewards catastrophic forgetting fragmentation and recall

发现论文，激发创造

基于神经启发的分段回忆式高效地图构建

该论文提出了一种名为 FarMap 的映射策略，通过惊奇 - 基于聚类的空间切割来建立本地映射和大脑的记忆，从而有效地解决了在大型环境中的空间探索问题。

Jul, 2023

伪重演：实现深度强化学习而不会发生灾难性遗忘

提出了一种利用深度生成网络结合图像分类和强化学习领域中的连续学习思想的模型，该模型具有双重记忆系统和伪回放系统，能够在 Atari 2600 游戏中完成顺序学习而不会遗忘前面的任务，并且随着任务数量的增加不需要额外的存储要求，存储原始数据或重新访问过去的任务。

Dec, 2018

通过可达性的情节性好奇心

本研究提出一种使用基于情景记忆的新奇性奖励机制的强化学习方法，能够克服以前算法中的问题，让代理在视觉环境中进行导航和行走的任务时能够优于 ICM。

Oct, 2018

用内在的恐惧解决强化学习的西西弗斯诅咒

该研究通过学习奖励塑造技术，引入内在的恐惧机制，保护深度强化学习代理人避免周期性的灾难状态，证明了其鲁棒性和学习速度优势，并在实验中成功解决了多种问题。

Nov, 2016

多智能体强化学习中避免重复探索

在多智能体强化学习领域，内在动机作为一种重要的探索工具已经出现。我们提出了一种动态奖励缩放方法，以应对神经网络统计近似器的有限表达能力所带来的挑战，并有效控制多次重复访问任务空间的现象，在 Google Research Football 和 StarCraft II 微管理任务等挑战性环境中展示了改进的性能，尤其是在稀疏奖励设置下。

Aug, 2023

增量深度神经网络中灾难性遗忘的方法学研究

通过模拟生物学习机制，文章研究了连续学习以及其在增量深度神经网络中造成的灾难性遗忘问题，并比较了三种增量学习方法的性能。

May, 2024

趣味驱动学习的大规模研究

本文通过大规模实验，研究了无外部奖励下的” 好奇心驱动学习 “ 与外部奖励的比对，研究了用于计算预测误差的不同特征空间，并探究了在随机环境中使用基于预测的奖励的局限性。

Aug, 2018

基于好奇心的多标准事后经验回放

本文提出一种方法，将后见之明与好奇心驱动探索和课程学习相结合，以解决具有挑战性的稀疏奖励堆叠块任务，并且此方法成功地实现了在机器人手臂上堆叠两个以上的块，而无须使用人的演示。

Jun, 2019

自监督预测驱动下的好奇心驱动探索

通过在自监督逆向动力学模型学习的视觉特征空间中预测行动结果的错误来形成好奇心作为内在奖励信号，提高自主智能体在缺乏外部奖励刺激的情况下探索环境和学习技能的能力，具有在不同领域中推广的潜力。

May, 2017

基于地图的经验回放：强化学习中灾难性遗忘的一种内存高效解决方案

该研究采用基于心理认知的重新记忆策略，通过构建一个基于地图的经验重播存储库，减少了记忆体的大小，并增加了样本之间的相关性，从而有效地解决了深度增强学习代理在处理新数据时可能出现的忘记先前解决方案的问题。

May, 2023