ICLRApr, 2022

在世界模型中将行动绑定到对象

PDF
TL;DR该研究提出了软注注意机制和硬注意机制，以将行动绑定到对象中，并通过实验结果展示它们在不同环境中的应用，特别是硬注意机制有助于结构化世界模型在基于对象的网格世界环境中学习分离对象的能力，软注注意机制有助于机器人操纵任务的表现提高。
attention mechanismsstructured world modelsobject-based grid-world environmentrobotic manipulation taskfactored world models
发现论文，激发创造
  • 机器人操作的物体中心世界模型

    FOCUS 是一个基于模型的代理人，通过一种新颖的探索奖励机制可以在机器人操纵任务中更轻松地探索物体交互，在不同环境中的操作任务中表现出更高的效率，同时可以应用于现实世界任务中，这将有助于提高机器人的操作能力。

    Jul, 2023

  • 基于注意力增强代理的可解释强化学习

    本文提出了一种结合软性、自上而下的注意机制的强化学习模型，使用信息瓶颈迫使智能体只关注任务相关信息，从而生成容易解释的模型。在 ATARI 游戏上实现了与最先进模型竞争力相当的性能。

    Jun, 2019

  • 面向通用机器人学习的深度目标中心表示

    本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

    Aug, 2017

  • 通过双重注意力网络推理人体对物体互动

    本文提出了一个双重注意力网络模型，该模型可以同时识别人类以及物体之间的动作，实现了物体及动作的同时识别，并在 Something-Something 数据集上展现了非常好的性能。除此之外，此模型还能够进行弱空间时间定位和可供性分割，可以识别物体的不同部分相互之间的交互。

    Sep, 2019

  • 使用视觉注意力进行动作识别

    本文提出一种基于 soft attention 的模型，用于对视频中的动作进行识别，该模型使用多层循环神经网络 (RNNs) 和长短期记忆 (LSTM) 单元，学习有选择地专注于视频帧的某些部分，通过几个瞥见来对视频进行分类。该模型主要学习帧中哪些部分与目标任务相关，并赋予它们更高的重要性。我们在 UCF-11 (YouTube Action)、HMDB-51 和 Hollywood2 数据集上评估了该模型，并分析了模型在不同场景和不同动作下注意力的聚焦。

    Nov, 2015

  • 通过引导式硬关注训练视觉问答模型

    本文介绍了一种新型的硬注意力机制，该机制忽略了某些特征但仍能达到与软注意力相同或更好的性能，而且因为其选择了输入信息的重要特征，因此比类似的软注意力机制更加高效。

    Aug, 2018

  • 基于结构化世界模型的好奇探索实现零样本物体操作

    使用结构化世界模型的内在动机强化学习算法，实现了多物体环境中的高效探索以及零样本泛化，可以完成像堆叠、翻转、拿起、投掷等任务。

    Jun, 2022

  • 注意力池化用于动作识别

    介绍了一种简单却强大的注意力模型，能够在动作识别和人体对象交互任务中使用。该模型可带或不带额外的监控进行训练，并在不增加网络大小和计算成本的情况下显著提高准确性。它在三个标准动作识别基准测试和 MPII 数据集上取得了显著的改进，并建立了新的最先进技术。在此基础上，我们通过实证和分析对注意力模块进行了详尽的分析，提出了一种新的精细识别问题解决方案。

    Nov, 2017

  • 一种用于弱监督时序动作定位的混合注意机制

    本论文提出了一种名为 HAM-Net 的新颖框架，该框架采用混合注意机制来解决现有方法中存在的问题，包括对背景活动的建模和完整性的捕捉，实验证明其在多个数据集上均取得了最新的最佳性能。

    Jan, 2021

  • 具有结构化世界模型的样本高效机器人学习

    研究利用特征空间和世界模型提高机器人在可变形物体折叠任务中的学习效率和性能，结果发现使用特征点可以将最佳模型的性能提升 50％，学习效率也可以得到提升。

    Oct, 2022