视觉引导语法归纳模型的联合推理中重新定义语言启发

Jun, 2024

视觉引导语法归纳模型的联合推理中重新定义语言启发

Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models

Eva Portelance, Siva Reddy, Timothy J. O'Donnell

TL;DR使用一系列神经视觉语法归纳模型，通过同时学习句法和语义来展示语义引导和句法引导对语言习得的影响，并表明联合学习能够提高语法归纳、词类学习和新句子和动词意义的解释。联合学习通过相互约束句法和语义的假设空间，使得语言习得对学习者更容易。同时，研究联合推理的动态过程对于语言建模和学习研究来说是一个重要的新方向，在认知科学和人工智能领域可以帮助我们解释如何在更受限的学习环境中学习语言。

Abstract

Semantic and syntactic bootstrapping posit that children use their prior knowledge of one linguistic domain, say syntactic relations, to help later acquire another, such as the meanings of new words. Empirical results supporting both theories may tempt us to believe that these are diff

semantic bootstrapping syntactic bootstrapping joint learning grammar induction language acquisition

发现论文，激发创造

通过基于实景的学习掌握语言结构

本文提出了基于语言结构的机器学习任务，并通过三种方案展示了其潜力和可行性，包括通过视觉基现学习语法结构，通过执行感知方法映射句子到语义结构，并通过跨语言词对齐和子结构投影方法改进零样本跨语言依赖分析的性能。

Jun, 2024

联合通用句法语义分析

本研究探讨了多种模型构型，借助通用分解语义数据（UDS）集中丰富的句法和语义注释，联合解析通用依赖和 UDS，以获得两种形式主义的最新结果，同时分析了句法和语义联合模型的行为。我们还研究了联合建模在多语言环境下的普适性，并发现了 8 种语言中相似的趋势。

Apr, 2021

解析全部：句法和语义、依存关系和跨度

本研究提出了一种新的基于神经网络的两种表征形式（span 和 dependency）的句法和语义联合模型，该模型有效地整合了句法信息，最大化优化联合目标，试验结果表明语义和句法可以相互促进，以全新的表现水平取得了 Propbank 基准测试集上的最好成绩。

Aug, 2019

基于视觉的神经语法学习

探究了一种从视觉信号中学习句法的方法，发现简化版本的模型同样表现良好，其中名词的具体性是预测的主要因素。

May, 2020

语言学框架在神经符号语言建模中展开激烈较量

本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超越了句法组成结构以及句法和语义依存关系结构。此外，这种效应在不同的词性类别中差异很大。总之，我们的研究结果为神经符号语言建模带来了有前途的倾向，并邀请未来研究 quantifying 不同形式主义所做的设计选择。

Dec, 2021

视觉基准帮助在低数据环境中学习词义

通过对具有意义的监督的视觉数据进行训练，我们发现在具有限定语言数据的情况下，视觉监督可以提高词汇学习的效率，但这种改进是有限的，并且当前的多模态建模方法未能有效利用视觉信息以构建更具人类特征的词汇表示。

Oct, 2023

量化视觉、语言和视觉 - 语言复杂度在动词习得中的作用

通过大规模预训练的人工神经网络对单词进行视觉和语言表示，研究了早期动词学习的三个假设，并比较了影响困难度的因素。结果表明，视觉结构变异性是影响动词学习的最大挑战。

Apr, 2023

神经模型中的语义 - 句法推理

研究使用神经模型捕捉词汇句法推理的能力。我们以事件事实预测任务为案例研究对象，并建立一个各种句法上下文中所有英语嵌入子句动词的事实判断数据集。我们使用这个数据集来探究当前最先进的神经系统的行为，揭示了这些系统在事实预测方面会出现某些系统性错误。

Aug, 2018

音视觉神经语法学习

通过从视觉感知语音进行短语结构识别的研究，我们提出了语音 - 视觉神经语法学习器（AV-NSL），通过听音和看图，无需接触文本即可学习短语结构，训练集是配对的图像和口述字幕，AV-NSL 展示出推断有意义的短语结构的能力，对英语和德语都可以与自然监督的文本解析器推导出的结构相媲美，研究结果扩展了无监督语言习得和基于场景的语法识别的以前研究，并提出了一种桥接两个主题的方法。

Oct, 2023

视觉引导的神经语法习得

本研究提出了 Visually Grounded Neural Syntax Learner (VG-NSL)，一种无需显式监督即可学习句法表示和结构的方法。VG-NSL 使用自然图像和标注的配对描述学习语法树结构，并在 MSCOCO 数据集和 Multi30K 数据集上展示了 VG-NSL 超越了不使用视觉元素作为辅助的无监督分析方法。

Jun, 2019