ACLSep, 2023

关于完全增量神经依存句法分析的挑战

PDF
TL;DR该研究论文探讨了基于现代架构的全面增量依存解析是否能够具备竞争力，并建立了将严格的从左到右神经编码器与全面增量序列标注和基于转换的解码器相结合的解析器。结果表明，基于现代架构的全面增量解析远远落后于双向解析，并注意到语言学上合理解析的挑战。
bilstmstransformer-based bidirectional encodersincrementalitydependency parsingneural encoders
发现论文，激发创造
  • 使用双向 LSTM 进行最小特征的增量分析

    本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

    Jun, 2016

  • 从部分到严格递增的成分句法分析

    本研究通过分析增量成分解析器的能力来仅仅基于前缀表示输出语法树。我们使用严格从左到右的生成式语言模型和树解码模块构建了符合增量性的解析器，该工作在语言之间积极探索了增量性。同时，我们分析了非增量和部分增量模型。

    Feb, 2024

  • 非递增编码器时代的增量处理：双向模型在增量自然语言理解中的实证评估

    研究了在交互系统中，使用增量接口对双向编码器进行逐步处理的可能性，结果支持可以保留大部分双向编码器非增量质量。

    Oct, 2020

  • 使用双向 LSTM 特征表示进行简单准确的依存句法分析

    使用双向 LSTM 神经网络构建特征向量，在依存句法分析中实现最新的结果。

    Mar, 2016

  • 鲁棒的增量神经语义图解析

    该研究提出了一个基于神经编码器 - 解码器的转移句法分析器，可以作为关于最小递归语义的完全覆盖的语义图分析器，预测图与非词汇化谓词及其标记对齐共同。该分析器比注意力模型基准更准确，并且在 GPU 批处理方面比高精度基于语法的分析器快一个数量级。此外，我们的最小递归语义分析器的 86.69％ Smatch 得分高于 AMR 分析的上限，这使得 MRS 成为有吸引力的语义表示选择。

    Apr, 2017

  • 可行的依存句法分析作为序列标注

    本文研究使用基于 BiLSTM 的序列标注方法重构了依存句法分析，并通过在 PTB 和 UD 树库样本上的实验，证明该方法在速度和准确性之间提供了很好的平衡，结果与更复杂的方法相当竞争力。

    Feb, 2019

  • 基于堆栈变换器的转移句法分析

    本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现，并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征（AMR）分析任务的效果特别明显，尤其是在较小的模型或有限的训练数据下。

    Oct, 2020

  • 具有堆栈长短期记忆的基于转移的依赖句法分析

    该文提出了一种新的序列到序列神经网络控制结构 —— 堆栈 LSTM，用于学习过渡式依赖解析器的解析状态，将其应用于解析模型中，实现了解析器状态的三个方面，提高了解析性能。

    May, 2015

  • 自回归语言模型中的增量解析状态探测

    本研究评估了自回归神经语言模型在句法上对语法结构维护能力的学习程度，提出了几种用于从自回归语言模型中提取不完全的句法结构的探测器，并发现这些探测器可用于预测模型对于可疑前缀的偏好、对模型的表现进行因果干预，从而表明自回归神经语言模型的下一词预测中存在隐含的增量句法推理。

    Nov, 2022

  • 编码器解码器移位归约句法分析

    本研究针对基于转移的句法分析任务，探讨利用编解码神经网络进行建模的方法，并且取得了与当前最优方法相近的效果，同时在某些情况下表现更好。

    Jun, 2017