ICLRApr, 2021

叙事元 RL 中的抽象和情境神经元出现

PDF
TL;DR该研究分析了 Ritter 等人（2018）引入的恢复机制，揭示了两类神经元，分别在代理的工作记忆（一个 epLSTM 细胞）和在 Harlow 视觉固定任务的叙事变体上进行训练时出现。具体而言，抽象神经元编码跨任务共享的知识，而情景神经元携带特定情景任务相关的信息。
发现论文，激发创造
  • 递归神经网络的机制性解释的记忆片段理论

    我们提出了 “情节记忆理论”，旨在揭示循环神经网络作为离散时间模拟的 “一般顺序情节记忆模型”，我们引入了一套适用于探索循环神经网络中变量绑定行为的新颖算法任务，并且通过数学上严格的电路形式加强了这些任务中的变量绑定。我们的实验研究表明，经过训练的循环神经网络始终收敛到变量绑定电路，从而揭示了循环神经网络动力学的普遍性，进而设计了一种算法来定义特权基础，这揭示了在时间存储和组合变量中起关键作用的隐藏神经元，这一机制对于成功的泛化至关重要。我们展示了特权基础如何提高了循环神经网络的学习参数和隐藏状态的可解释性。我们的工作在循环神经网络的内部机制解谜方面迈出了一步，并且对计算神经科学有助于弥合人工神经网络和神经记忆模型之间的差距。

    Oct, 2023

  • 经验回忆元学习

    本文提出了一种形式化的环境生成方法，以针对开放式任务分布下的元学习代理，旨在在重复性场景中探索其环境而不是立即利用以前发现的解决方案。使用可微分的神经元感性记忆改进了标准 LSTM 工作记忆的元学习体系结构，并进一步在带有重复任务的五种元学习环境中进行了测试，包括赌徒问题、导航问题和随机顺序决策问题。

    May, 2018

  • 具备共享情节记忆的持续和多任务强化学习

    本文介绍了一种神经架构 (SEM)，其包含共享追忆存储器的模型，便于在多项任务中学习并顺序执行，实现持续学习和在同一环境中获取新技能的效果。

    May, 2019

  • 强化学习智能体中自然出现类脑式回放

    在这项工作中，通过使用基于循环神经网络的强化学习模型，我们在任务优化范式下发现了自然出现的回放，它模拟了海马体和前额叶皮质的互联以及感觉皮质输入，而回放在任务表现上能很好地匹配动物实验数据，同时也成功地再现了局部和非局部回放，这与人类实验数据相吻合，这为我们理解回放背后的机制提供了一种新途径。

    Feb, 2024

  • 基于视觉情节记忆的探索

    使用视觉情节记忆作为内在动机的机器人探索问题的研究，通过卷积递归神经网络自编码器学习时空特征的高效表达，结构相似度作为内在动机信号来引导探索，超过了好奇心驱动的变分自编码器在发现动态异常方面的表现。

    May, 2024

  • 无模型的情节控制

    本文探讨海马海马记忆控制应用于深度加强学习，证明该应用比现有的加强学习算法更快地高效解决了一些复杂的连续决策任务。

    Jun, 2016

  • 使用 Reservoir Sampling 将情景记忆集成到强化学习智能体中

    该文研究了利用固定数量的过去状态来维护一个外部内存的新算法，使得深度强化学习代理能够在线记忆有用的状态，并可以在在线强化学习设置中实现梯度估计。

    Jun, 2018

  • 双记忆强化学习

    本研究提出了一种名为 2M 的方法，将历史记忆存储和强化学习相结合，以提高数据效率并在深度强化学习方面取得更好的表现，同时也提供了将任何历史记忆代理与其他非策略强化学习算法相结合的通用框架。

    Apr, 2023

  • 关于连续学习中微小情节记忆的研究

    该研究实证分析了在连续学习过程中，引入极小的叙事性记忆在任务之间转移知识的有效性，并发现相较于特定的连续学习方法，该方法能利用极小的记忆显著提升泛化能力，对小样本问题有一定的启示。

    Feb, 2019

  • 使用情节记忆从深度强化学习生成解释

    通过使用含有情节记忆系统的深度强化学习代理，识别和重述关键决策，生成人类可读的简短解释，可用于加快初学的无算法依赖深度强化学习代理的学习。

    May, 2022