ACLJun, 2019

视觉引导的神经语法习得

PDF
TL;DR本研究提出了 Visually Grounded Neural Syntax Learner (VG-NSL)，一种无需显式监督即可学习句法表示和结构的方法。VG-NSL 使用自然图像和标注的配对描述学习语法树结构，并在 MSCOCO 数据集和 Multi30K 数据集上展示了 VG-NSL 超越了不使用视觉元素作为辅助的无监督分析方法。
visually grounded neural syntax learnersyntactic representationsconstituency parse treesunsupervised parsing approachesmulti30k data set
发现论文，激发创造
  • 基于视觉的神经语法学习

    探究了一种从视觉信号中学习句法的方法，发现简化版本的模型同样表现良好，其中名词的具体性是预测的主要因素。

    May, 2020

  • 视觉基础复合 PCFG

    本文将视觉与语言相结合用于语言理解，采用一种基于概率无上下文文法模型的 full-differentiable 端到端视觉理解模型，在 MSCOCO 测试标题上取得了新的最佳效果，证实了视觉基础在短语结构语法归纳中的有效性。

    Sep, 2020

  • 音视觉神经语法学习

    通过从视觉感知语音进行短语结构识别的研究，我们提出了语音 - 视觉神经语法学习器（AV-NSL），通过听音和看图，无需接触文本即可学习短语结构，训练集是配对的图像和口述字幕，AV-NSL 展示出推断有意义的短语结构的能力，对英语和德语都可以与自然监督的文本解析器推导出的结构相媲美，研究结果扩展了无监督语言习得和基于场景的语法识别的以前研究，并提出了一种桥接两个主题的方法。

    Oct, 2023

  • 为视觉锚定学习组装神经模块树网络

    提出了一种基于依赖解析树的神经模块树网络（NMTree），该网络通过规范化视觉构图，并根据其语言特征计算视觉注意而分解视觉构图，从而实现可解释的组合视觉推理，并且使用 Gumbel-Softmax 逼近进行端对端训练，可以应对解析错误的影响。

    Dec, 2018

  • 神经符号概念学习器：从自然监督中解释场景、单词和句子

    提出了一种无需显式监督，通过观察图片和配对问答学习视觉概念、单词和句子语义分析的神经符号概念学习器，其通过神经符号推理模块将符号程序执行于潜在场景表示，辅助学习新词并解析新句子，使用课程学习指导对图像和语言的复合空间进行搜索，并进行了广泛实验来证实其在学习视觉概念、单词表示和语义分析方面的准确性和效率。

    Apr, 2019

  • 学习使用语言树结构合成和推理视觉基础

    本文提出了一种基于 RVG-TREE 的自然语言基础模型，其可以自动组成二叉树结构进行语言解析，并沿着树进行自底向上的视觉推理，实现更具解释性的推理效果。

    Jun, 2019

  • 通过基于实景的学习掌握语言结构

    本文提出了基于语言结构的机器学习任务，并通过三种方案展示了其潜力和可行性，包括通过视觉基现学习语法结构，通过执行感知方法映射句子到语义结构，并通过跨语言词对齐和子结构投影方法改进零样本跨语言依赖分析的性能。

    Jun, 2024

  • 词典级对比性视觉引导改进语言建模

    基于视觉监督的语言学习过程，通过提供词汇信息的早期层表示，兼容多模态的人类语言习得方式，实现了在语言模型中融入视觉基础的潜力。

    Mar, 2024

  • 具有语言结构的短语弱监督视觉定位

    文章提出了一种弱监督方法，该方法以图像 - 句子对为输入，学习以空间注意力掩模的形式定位任意语言短语。我们介绍了一种端到端模型，使用两种精心设计的损失函数学习短语的视觉基础，并在句子中使用引诱的解析树结构来确保注意力掩码的补充性及组合性。

    May, 2017

  • 视觉场景的基于语义 grounded 语义构成

    本篇研究介绍了一种基于视觉语言理解模型的单词语义组合来生成复杂指代表达式的理论，介绍了其在空间指代表达式中的应用及在语义理解中对视觉语境的影响研究。

    Jun, 2011