EMNLPOct, 2023

通过符号世界知识从自我中心视角定位活动对象

PDF
TL;DR通过学习任务指令的对象信息、利用对象的动作前后条件和描述性知识，我们提出了一种改进短语定位模型的方法，通过大型语言模型来提取动作 - 对象知识，并设计了一种对象短语和符号知识的联合推理技术，实验证明我们的方法在各项指标上都取得了显著的改善。
egocentric viewactive objectsphrase grounding modelssymbolic knowledgetask instructions
发现论文，激发创造
  • LOCATE: 弱监督可支配定位与传输物体部件

    本文提出一种名为 LOCATE 的框架，采用图像级别的适应性和对象标签对交互区域进行特征嵌入，并将其聚合为人类、对象部分和背景的紧凑原型之一，以指导功能接地的弱监督学习。对于新物体，实验证明我们的方法在训练图像和测试图像上性能都很好。

    Mar, 2023

  • ALGO：基于物体纳入的视觉常识推理用于开放世界自我中心动作识别

    在开放环境中学习推断标签，即在目标 “标签” 未知的情况下，是实现自主性的重要特征。我们提出了一种神经符号框架（ALGO），通过使用存储在大规模知识库中的符号知识，在仅有有限监督的情况下，推断自心视角视频中的活动。

    Jun, 2024

  • 基于物体感知的视觉常识推理在开放世界中发掘新动作

    通过神经符号学习架构 ALGO，我们开发了一种从自我中心视频中推断活动的方法，在开放世界上实现零样本推理。

    May, 2023

  • 多模态指令中的符号基础

    本文提出了一种方法来处理跨模态输入的原始流，以产生物体的细分并与高级概念相关联，以学习用户的颜色和形状的概念，并表明该模型可以从少量的物理演示中推广到识别新单词的物理指示。

    Jun, 2017

  • 使用主动推理实现以物体为中心的场景表征

    本文提出了一种基于层次化对象中心生成模型的场景理解方法，利用神经启发式的行动和感知框架实现了代理的对象类别和姿态的推断，并提出了一个新的基准来评估主动视觉代理的行为，并表明我们的主动推理代理在平衡认知觅食和目标驱动行为方面表现优异，远胜于监督和强化学习基线。

    Feb, 2023

  • 基于物体和动作意象的理解语言习得

    通过深度学习方法研究自然语言处理，通过训练紧密连接的编码器 / 解码器，在传统的指示语言环境和对比学习环境中开发了一个专用于视觉数据表示的私有语言，并且通过神经机器翻译和随机森林分类的分类层将符号表示转化为类别标签。通过两个实验，旨在进行物体识别和动作识别，研究了从真实图像中生成的草图以及从 3D 运动捕获系统生成的 2D 轨迹，通过梯度加权类激活映射（Grad-CAM）方法和 t-SNE 方法解释了学习到的符号和嵌入。

    Sep, 2023

  • 基于神经符号方法的交互指令跟随模型的物体和指令变化鲁棒性改进

    通过提出神经符号化方法，将高级符号特征用作中间表征，来解决自然语言指令和第一视角视觉映射到与 3D 环境中对象进行交互的操作序列时神经网络特征提取对小的改变过于敏感而未能适应测试集中未见过的属性和指令的问题。在 ALFRED 基准测试的子任务评估中，我们的实验结果表明，和端到端的神经模型相比，我们的方法在切换对象、拿起对象和切片对象的成功率等未知环境下的交互任务中显着优于前者 9 点，46 点和 74 点。

    Oct, 2021

  • 可扩展的自我中心规划实现任务完成

    本文提出了一种称为 “Egocentric Planning” 的创新方法，将符号规划和面向对象的 POMDP 相结合，以解决在复杂环境中的任务。在 ALFRED 中进行的实验表明，该方法可以在完成家庭任务方面取得显著的成功率。该方法需要可靠的感知和代理动作的先决条件和效果的符号化描述。

    Jun, 2023

  • 在二维环境中的交互式基于语境的语言习得和推理

    基于 2D 迷宫世界，通过虚拟代理学习语言的模型，将语言的生成与理解与其他计算流程分离，从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果，大幅优于其他五种比较方法。

    Jan, 2018

  • 远程视觉基础场景直观智能体

    本文提出了一个能够模拟人类行为的代理程序，旨在解决 REVERIE 任务，通过两个交叉模态对齐子任务的预训练阶段，即场景定位任务和对象定位任务，再结合记忆增强注意力动作解码器来生成行动序列，证明了本方法的有效性。

    Mar, 2021