Nov, 2016

使用组合模块化网络建模指代表达式中的关系

PDF
TL;DR本文提出了一种名为组合模块网络（Compositional Modular Networks，CMNs）的深度架构，该架构能够分析指称表达式的组成部分，识别输入表达式中提及的实体和关系，并将它们统一在现场中，从而实现对这些自然语言表达式的理解和建立联系。 通过在多个参考表达式数据集上进行评估，我们证明了 CMNs 技术在所有任务上优于现有技术。
referential expressionscompositional modular networksvisual inferencelinguistic analysisentity relationships
发现论文，激发创造
  • 基于关系嵌入的指代表达式 grounding 表示学习

    本文提出了一种 Cross-Modal Relationship Extractor (CMRE) 的方法，利用跨模式的注意力机制自适应地提取和关联表达式中与对象相关的空间和语义关系，并将提取的信息表示为语言导向的视觉关系图。同时，我们还提出了一种 Gated Graph Convolutional Network (GGCN)，通过融合不同模式的信息并在结构化的关系图中传播多模式信息来计算多模式语义上下文，并在三个通用基准数据集上证明了该方法的显著优于所有现有的最新方法。

    Jun, 2019

  • 神经模型中组成通用能力的研究

    该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。

    Jun, 2020

  • MAttNet: 模块化注意力网络用于指代表达理解

    本文提出了一种通过使用模块化组件和多种注意力机制，实现对自然语言描述的图像区域定位的方法，该方法在特征抽象、指向性和篮球场景等任务中都优于以往最先进的模型。

    Jan, 2018

  • 参考关系

    本文提出了一种基于指代关系的迭代模型，模拟了实体之间的关系和谓词的概念移动，出色地完成了相同类别实体的消歧任务，在 CLEVR、VRD 和 Visual Genome 三个数据集上的表现都超越了之前的方法，还产生了具有可解释性的谓词移动，甚至可以在没有实体类别的情况下通过模拟谓词来定位实体，并找到完全未知的类别。

    Mar, 2018

  • 关系层面隐喻识别的背景调节

    本文介绍了一种使用神经网络和上下文调节（contextual modulation）识别抽象比喻表达方式的方法，并在基准数据集上取得了最新的最佳性能。

    Oct, 2020

  • 具有韧性和可解释性的关系网络空间参考基础

    本论文提出一种文本条件化的关系网络模型，通过跨模态的注意力机制动态计算参数以捕获实体之间的精细空间关系，从而实现对文本中空间参照的理解，具有可解释性和鲁棒性，在三个任务中实现了 17% 和 15% 的表现改进，从而解决了在自主导航和机器人控制中学习空间概念表示的关键挑战。

    May, 2020

  • 野外环境下的图结构指称表达推理

    本研究提出了基于场景图的模块化网络 (SGMN) 来解决指代表达式的 grounding 问题，并且设计出了一个大规模实验数据集 Ref-Reasoning，证明了该方法在这个数据集上的优越性。

    Apr, 2020

  • Cops-Ref：一个关于复合指称表达理解的新数据集和任务

    本研究提出一种新的场景下基于规约表达理解的视觉推理数据集，其中使用可灵活组合丰富的视觉属性和多种推理逻辑的新颖表达式引擎生成表达式，并添加额外干扰图像以实现更深层次的视觉推理分析，评估了多种最新的规约表达理解模型，但发现没有一种能够达到良好的表现，提出的模块化较难样本挖掘策略效果最佳，但仍有改进的空间。

    Mar, 2020

  • 指代表达理解的动态图注意力

    本文探讨了语言驱动的视觉推理的问题，提出了一种动态图注意力网络来执行多步推理​​，并针对复杂的语言表达能力生成可解释的视觉证据。实验结果表明，所提出的方法不仅可以显着超过三个常见基准数据集上的所有现有最新算法，而且还能生成可解释的视觉证据来逐步地定位所描述的物体。

    Sep, 2019

  • 学习组合视觉关系

    本文提出了一种基于能量的模型，通过正交分解的方式，实现了对场景中各个物体之间关系的描述和生成，并改进了对场景结构的理解方法。

    Nov, 2021