Oct, 2022

评估 3D 迷宫中的长期记忆

PDF
TL;DR本文介绍了 Memory Maze，这是一个专门设计用于评估智能体长期记忆的三维随机迷宫领域，包括在线的强化学习基准测试、离线数据集和离线探测评估。我们发现当前算法在小迷宫上的表现很好，但在大迷宫上还不及人类表现，未来有待进一步进行算法设计和评估。
intelligent agentslong-term memorymemory mazereinforcement learninghuman performance
发现论文，激发创造
  • 多智能体路径规划中基于长短时记忆的空间编码

    本文提出了一个基于强化学习的路径规划方法，可以应用到多经纬系统，通过训练一个连续状态和动作的策略网络，使其具有理想的路径规划行为，该方法通过 LSTM 模块来编码不特定数量的状态，可以扩展到具有无限数量代理和维度的情形，同时使用低成本的硬件平台进行实现。实验表明所提出的方法能成功地使 4 个自主导航的飞行器在现实世界环境中无碰撞地导航。

    Mar, 2022

  • 具有工作内存和情节内存的强化学习通用化

    本文构建了一个多样的记忆任务集，测试智能体在训练中学到的知识是否能推广到具有多种不同记忆维度的测试集上，探究了不同记忆系统组合的智能体网络的性能表现。

    Oct, 2019

  • 神经地图：深度强化学习的结构化记忆

    本研究开发了一种记忆系统，名为神经图，使用空间结构的 2D 记忆图像来学习存储环境的任意信息，能够在长时间间隔内超越以前的 DRL 记忆并且能够推广到在训练期间未见过的环境。

    Feb, 2017

  • 目标导向智能体的无监督预测记忆

    本文介绍了一个新的模型 MERLIN，其通过利用可预测的建模引导记忆形成，使单一的学习智能体架构能够在心理学和神经生物学中解决基本行为任务。

    Mar, 2018

  • 利用鼹鼠学习：可转移的潜在空间表示，实现无需重建的导航

    本研究提出通过盲辅助代理训练学习场景的可操作表示，用于导航决策，并且经实验证明该学习表示方式在处理复杂环境及从模拟到真实场景的转换时具有很好的鲁棒性。

    Jun, 2023

  • 掌握记忆任务的世界模型

    通过在模型基础强化学习代理的世界模型中集成一种新的状态空间模型，在解决涉及行动和结果之间存在较大时间间隔或需要回忆遥远观察来指导当前行动的任务方面提出了一种名为 R2I 的新方法，该集成旨在提高长期记忆和长期视野信用分配，系统演示了 R2I 不仅在具有挑战性的内存和信用分配强化学习任务（如 BSuite 和 POPGym）方面树立了新的最新技术，还在 Memory Maze 等复杂内存领域展示了超人类表现，同时在 Atari 和 DMC 等经典强化学习任务中表现出可比较的性能，显示出 R2I 方法的普适性，此外，我们还表明 R2I 比最新技术的模型基础强化学习方法 DreamerV3 更快，可以更快地收敛。

    Mar, 2024

  • 短时、情节性和语义记忆系统的机器

    使用认知科学理论作为参考，研究者构建了一种基于知识图谱的具有短期、情节和语义记忆系统的智能体，并通过深度 Q 学习方法来使这个智能体在自己设计的强化学习环境中学会如何驾驭记忆来最大效益地回答问题。结果表明，与没有类似记忆结构的智能体相比，拥有人类式记忆系统的智能体在该环境下的表现更为出色。

    Dec, 2022

  • 深思熟虑：带有内部工作记忆的决策 Transformer

    本文提出了一种基于内部工作记忆模块的决策制定代理，可以通过存储、混合和检索信息来改善其在不同下游任务中的训练效率和泛化能力，并进一步证明记忆微调可以增强所提出架构的适应性。

    May, 2023

  • 学习在复杂环境中导航

    利用增强学习问题和多模态感应输入的辅助深度预测和循环闭环分类任务，可以学习从复杂 3D 迷宫中进行导航并接近人类级别表现

    Nov, 2016

  • Minecraft 中的记忆、主动感知和动作控制

    本文在 Minecraft 中引入了一组新的强化学习任务，并使用这些任务系统地比较和对比现有的深度强化学习架构和我们的新的基于记忆的深度强化学习架构。实验结果表明，我们的新架构相比现有的深度强化学习架构，在未使用的环境中有更好的泛化表现。

    May, 2016