ACLAug, 2020

监督句法分析对语言理解是否有益？实证研究

PDF
TL;DR本文基于上下文中的先前思路是否明确需监督的句法分析才能实现高层语义理解，通过实证研究检验了监督句法分析在语言模型预训练的 Transformer 网络中应用于语义理解的效用，并通过分析该网络在句法分析中前后的表示空间，得出监督句法分析对最终语义理解性能的影响非常有限的结论。
发现论文，激发创造
  • 注入语义依存关系的微调

    应用语言模型结构代替任务特定的监督并使用卷积图编码器通过显式引入语义解析提高 NLU 任务的性能。

    Dec, 2020

  • 有限上下文对成分句法分析的限制

    本文探讨了当前神经语法学习方法对句法结构的表征方式，以及限制神经语法学习方法的表征能力的主要因素，并利用概率上下文无关文法为基础，说明上下文对神经语法学习方法进行语法分析决策时的关键作用。

    Jun, 2021

  • 语言理解任务中语言知识融合的经验重访

    在 GLUE 基准测试中，通过使用平凡的图表进行任务处理，可以实现具有竞争力甚至更好的性能，并揭示出增益可能不是明确的语言先验，而是由融合层带来的更多特征交互。因此，我们呼吁注意未来使用平凡的图表作为必要的基线来设计高级知识融合方法。

    Oct, 2022

  • 口语理解的实用语义解析

    本文介绍了一个基于转移学习的可执行语义分析框架，并在不同领域的数据集上进行了实验，表明可执行语义分析可以统一自然语言处理的不同领域，例如问答 (Q&A) 和口语理解 (SLU).

    Mar, 2019

  • 在 Transformer NMT 中推广源语法知识是不必要的

    本研究旨在通过使用 Transformer 模型和较大的语料库来提高源端句法知识的表征，并利用多任务学习进行数据操纵或使用专用模型组件。提供的结果表明，采用线性树而不是真实依赖得到的增益不是来自于语言知识的增加，而是由于在自注意矩阵上引起的某种简单的正则化效应。

    Oct, 2019

  • 无监督分析的层次 Transformer

    本文扩展了转换器模型，使其能够学习自然语言中的层次结构，得到了较好的无监督语法分析结果。

    Mar, 2020

  • 语法树能帮助预训练 Transformer 提取信息吗？

    本文研究如何将依存树信息合并到预训练的 Transformer 模型中以提高信息提取任务的性能，在语义角色标注和关系抽取任务上，采用两种相似但不同的模型设计策略，通过实证研究发现这些语法增强的 Transformer 模型的性能提高取决于依存关系解析的质量。

    Aug, 2020

  • 解析全部：句法和语义、依存关系和跨度

    本研究提出了一种新的基于神经网络的两种表征形式（span 和 dependency）的句法和语义联合模型，该模型有效地整合了句法信息，最大化优化联合目标，试验结果表明语义和句法可以相互促进，以全新的表现水平取得了 Propbank 基准测试集上的最好成绩。

    Aug, 2019

  • 非监督句法分析中偏倚解析器的关键分析

    本文使用 Shen 等人 (2018) 的句法分析算法来恢复基于 “句法深度” 代理的短语结构树，并使用常规 LSTM 语言模型提供的代理进行比较，发现偏向于右分支结构的解析算法可以夸大语言模型的表现能力。

    Sep, 2019

  • 一种基于模仿学习的无监督解析方法

    我们提出了一种模仿学习的无监督句法分析方法，将 PRPN 诱导的句法知识转移到带有离散句法分析操作的 Tree-LSTM 模型上，并通过 Gumbel-Softmax 训练不断优化其策略以实现更好的语义目标。在 All-NLI 数据集上进行实验，证明我们的方法在句法得分上超过了基准模型，包括 PRPN。

    Jun, 2019