EMNLPMay, 2020

具有韧性和可解释性的关系网络空间参考基础

PDF
TL;DR本论文提出一种文本条件化的关系网络模型，通过跨模态的注意力机制动态计算参数以捕获实体之间的精细空间关系，从而实现对文本中空间参照的理解，具有可解释性和鲁棒性，在三个任务中实现了 17% 和 15% 的表现改进，从而解决了在自主导航和机器人控制中学习空间概念表示的关键挑战。
发现论文，激发创造
  • 基于感知的空间推理的表示学习

    本文提出了一个在模拟环境中进行空间推理的模型，使用强化学习和广义值迭代方法进行训练，取得了目标定位误差减少 45% 的成果。模型以指令文本为引导，学习世界的表示，对语言和环境进行联合推理，实现了本地邻域与对应词汇的精准对齐，同时处理指令中的全局参照。

    Jul, 2017

  • 一种关系增强的全卷积网络用于航空场景的语义分割

    本研究提出了空间关系模块和通道关系模块，可用于学习和推理任何两个空间位置或特征图之间的全局关系，并产生关系增强的特征表示。研究团队在利用两个航空图像数据集进行的语义分割任务中使用这些模块，取得了相当优异的结果，比基准模型有显著提升。

    Apr, 2019

  • 多模态视觉语言模型中的基于实体的视觉空间推理

    利用大规模视觉语言模型评估其在不同视觉推理任务中的性能，特别是在理解空间关系方面的能力的研究。通过细粒度的组合性先验来解决空间关系推理任务的评估和排名，结合物体及其位置的核心语义来计算空间子句的最终评分，并比较不同视觉语言模型在空间关系推理方面的能力。

    Aug, 2023

  • 用汇聚方法建模空间关系，实现图像检索和注释

    通过学习参数，提出一种基于池化的空间关系表示的方法，以改进涉及空间语言的图像检索和注释任务，并在两个数据集和两个不同任务上取得了改进

    Nov, 2014

  • 鲁棒自然语言处理 - 结合推理、认知语义学和构式语法处理空间语言

    本文提出了一个系统，用于生成和理解机器人交互设置中的动态和静态空间关系。机器人使用涵盖如 “跨越” 和 “在前面” 等空间关系的英语短语描述移动方块的环境。我们在机器人之间进行了系统评估，展示了该系统可以稳健处理视觉感知错误、语言遗漏和不符合语法的话语。

    Jul, 2016

  • 为体现式（机器人）交互打下动态空间关系的基础

    本文提出了一个计算模型来处理在机器人交互设置中发生的动态空间关系，并演示了该模型将计算认知语义和普通空间表征以及推理的两个研究领域相结合的效果。

    Jul, 2016

  • Space - 语言模型用于 3D 视觉基础

    提出了一种空间语言模型用于 3D 视觉定位问题，使用基于 Transformer 的架构将空间嵌入和 DistilBert 的语言嵌入结合起来进行目标对象预测，能够在 ReferIt3D 提出的数据集上表现出竞争性，可以被应用于机器人等领域的视觉任务中。

    Jul, 2021

  • 弱监督视觉引导的关系感知实例细化

    本研究提出了一种新的上下文感知弱监督学习方法，它将粗到细的物体细化和实体关系建模结合到一个两阶段深度网络中，以更准确地表述和匹配物体，并通过自我学习回归和关系分析来有效训练必要的分类方法。在 Flickr30K 和 ReferItGame 数据集上的广泛实验表明，本文所提出的弱强化框架比以前的方法具有更好的算法性能，Flickr30K 实体和 ReferItGame 数据集上的 Top-1 准确度分别达到 59.27％和 37.68％。

    Mar, 2021

  • 通过对空间配置进行推理实现导航

    我们针对导航问题进行研究，提出了一种使用空间语义元素的神经代理导航模型，并探究了它们对导航代理的推理能力的影响。研究结果表明，指令中显式建模空间语义元素可以改善模型的基础和空间推理能力，并在已见及未见环境上取得了竞争性的性能。

    May, 2021

  • 自我监督的空间位置辅助指令视频中的叙述理解

    该文介绍了将叙述交互视频逐帧定位的任务，并通过一个多层交叉模态注意力网络实现自我监督的效果，其中交替计算视觉和自然语言模态的相互关注，以有效地进行训练，其表现超过基线模型包括浅层和全跨模态关注。

    Oct, 2021