EMNLPSep, 2019

神经语言模型中成分的表征：以协同短语为案例研究

PDF
TL;DR研究了神经语言模型代表短语级别特征的能力，使用协调名词短语作为研究案例，发现模型使用 NP 成分数量的线性组合来驱动 CoordNP/​​verb 数量协议。模型在性别协议方面成功较少。使用大型语料库训练的模型表现最佳，并且使用显式句法监督训练的模型没有明显的优势。
neural language modelsconstituent-level featurescoordinated noun phrasesnumber agreementgender agreement
发现论文，激发创造
  • 神经成分句法分析的两种本地化模型

    本文研究了两种概念简单的本地神经模型，在成分分析中取得了高度竞争的结果，分别实现了 PTB 和 CTB5.1 中的标记支架 F1 得分为 92.4％和 87.3％。

    Aug, 2018

  • 神经组合成分解析

    该研究提出了两个快速神经组合模型，用于句法分析，分别是二元模型和多分支模型，它们的理论复杂度是次二次的，实际复杂度较低，其中二元模型在 Penn Treebank 上取得了 92.54 的 F1 分数，并以 1327.2 个句子 / 秒的速度进行解析。同时，该模型结合 XLNet，准确率接近英文句法分析的最新水平，并能够观察到 Penn Treebank、Chinese Treebank 和 Keyaki Treebank（日本）在训练和推理过程中的句法倾向和头向性。

    Jun, 2021

  • 语言学框架在神经符号语言建模中展开激烈较量

    本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超越了句法组成结构以及句法和语义依存关系结构。此外，这种效应在不同的词性类别中差异很大。总之，我们的研究结果为神经符号语言建模带来了有前途的倾向，并邀请未来研究 quantifying 不同形式主义所做的设计选择。

    Dec, 2021

  • 利用成分句法进行共指消解

    通过使用基于图的方法，利用句法结构中的成分结构，包括语法树的长距离依赖和结构信息，实现了较强的代词消解技术。实验结果显示，在 OntoNotes 5.0 基准测试的英语和中文部分中，提出的模型要么超过了强基线要么实现了新的最高水平。

    Feb, 2022

  • 神经成分句法分析器的研究分析

    研究了现代和经典的组成分析方法的差异，以及神经网络在此领域的应用。高性能的神经模型代表了最新的工作，实验发现该模型隐式编码了过去语法和词汇表明确提供的信息，暗示这种支撑可以被强大的通用神经机制取代。

    Apr, 2018

  • 非成分协调：理论与实践

    论文回顾了最近二十年对于非成分协调的理论工作，表明很多理论并没有比基于处理的方法更好的覆盖率。最后，本文论证了处理法如何形式化地描述为动态语法。

    Mar, 1995

  • 从语言模型中归纳语言结构

    该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。

    Mar, 2024

  • 神经语言模型中的成分结构探测

    本文研究神经语言模型对句法结构的学习能力，发现预训练的 Transfomer LM 即使在语义有错的情况下仍能准确地代表不同类别的成分，并且语法信息确实被 LM 学习并与语义信息分离。

    Apr, 2022

  • 外语语法

    采用领域无关的注意力增强序列到序列模型在一大合成语料库的标注基础上取得了最先进的效果，训练小规模人工标注的数据集时也达到了标准解析器的表现，且较大程度上提高了数据利用率和处理速度。

    Dec, 2014

  • 协调边界预测的神经网络

    基于神经网络的模型用于协调边界预测，通过多个 LSTM 网络，并在 Treebank 上进行训练，展示了与两个现有技术的比较，以及在 Genia 语料库上的改进。

    Oct, 2016