ICLRFeb, 2021

端到端自我空间记忆

PDF
TL;DR提出使用无参数模块 Egospheric Spatial Memory (ESM) 来通过在自主代理周围的自我球内部编码记忆以实现表达三维表示来改善空间记忆的性能，并可以通过模仿或强化学习进行端对端训练，在训练效率和最后的控制方法表现方面明显优于其他记忆基线，同时可以无缝地将该控制器与其他未学习的模态相结合，从而实现对语义分割的应用。
spatial memoryautonomous agentsegospheric spatial memory3d representationsvisuomotor control
发现论文，激发创造
  • 面向具身化智能体的空间感知变压器内存

    本文研究了空间感知变压器模型在新的事后记忆模式中的应用，该模式结合了时间和空间维度，提高了记忆利用效率，并在各种环境和下游任务中展示了改进的准确性。

    Feb, 2024

  • 情节记忆问答

    通过 Episodic Memory Question Answering (EMQA) 任务以及一系列数据集和模型的介绍，本文阐述了在面向家居环境下，使用智能语音助手等 AR 设备进行信息沟通的场景中，利用换人的机器学习算法，更好地实现 AI 视觉辅助的目标。

    May, 2022

  • EMPNet: 使用嵌入式记忆点的神经定位与建图

    本文研究了使用内存模块进行环境表示的方法，其中包括利用卷积神经网络提取点嵌入并将其刚性对齐，从而提高智能体的自主能力和准确性。

    Jul, 2019

  • 多智能体路径规划中基于长短时记忆的空间编码

    本文提出了一个基于强化学习的路径规划方法，可以应用到多经纬系统，通过训练一个连续状态和动作的策略网络，使其具有理想的路径规划行为，该方法通过 LSTM 模块来编码不特定数量的状态，可以扩展到具有无限数量代理和维度的情形，同时使用低成本的硬件平台进行实现。实验表明所提出的方法能成功地使 4 个自主导航的飞行器在现实世界环境中无碰撞地导航。

    Mar, 2022

  • 神经 SLAM：学习利用外部存储进行探索

    本研究提出了一种新的方法，通过嵌入传统同时定位与建图（SLAM）的程序到软的注意力机制中，从而使得机器代理从传感器数据学习全局地图的表征，在无人环境中，可以通过深度神经网络进化具有类似 SLAM 的行为和强化学习代理，成功地在必须保持长期记忆的新环境中进行探索。

    Jun, 2017

  • 基于语义网格的短期预测与多摄像头融合

    本文提出并评估了一种新型架构，该架构生成一种自我中心的，基于网格的，预测性和语义可解释的环境表示。通过多个相机流的空间 - 时间融合，深度编码器 - 解码器网络被训练来将这些视图融合为一个统一的语义网格表示，并预测其周围环境的动态。

    Mar, 2019

  • 双存储循环自组织的时空表示的终身学习

    本文提出了一种双存储自组织架构用于实现终身学习，其中包含具有学习物体实例和类别的互补任务的两个增长式重复神经网络；通过在连续感官经历中扩展它们，这两个增长网络都能够提取出对未知数据更强的特征。

    May, 2018

  • 上下文感知规划与环境感知记忆对于指令跟随的具身化智能体

    通过引入 CPEM（Context-aware Planner and Environment-aware Memory）将先前行动的情境信息与规划和维护对象的空间布局（例如，对象是否已经移动）相结合到感知模型中，改进了视觉导航和对象交互，在可见和不可见环境中实现了如题目要求的各项任务成功性能的最新水平。

    Aug, 2023

  • 编码 - 存储 - 检索：通过语言编码的自我中心感知增强记忆辅助

    我们提出了一种记忆增强系统，利用自然语言编码和存储视频数据，并借助大型语言模型进行查询，旨在解决生活记录大量数据和高效检索特定信息的挑战。通过使用 QA-Ego4D 数据集评估我们的系统，在 BLEU 分数上取得了 8.3 的最先进结果，优于传统机器学习模型的 3.4 到 5.8 的成绩。在用户研究中，与人工参与者的 2.46/5 的得分相比，我们的系统在现实生活情景记忆任务上获得了更高的平均回应得分 4.13/5。

    Aug, 2023

  • 具有空间记忆的生成时序模型用于部分可观测环境

    本文提出了一种新型的基于模型的强化学习方法，利用生成模型和时序模型进行环境建模以达到优化智能体表现的目的，该模型可用于部分观察到的 2D 和 3D 环境中进行跨时间点的预测。

    Apr, 2018