EMNLPOct, 2020

基于堆栈变换器的转移句法分析

PDF
TL;DR本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现，并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征（AMR）分析任务的效果特别明显，尤其是在较小的模型或有限的训练数据下。
transition-based parsingrecurrent neural networkstransformer architecturecross attention mechanismparsing performance
发现论文，激发创造
  • 具有堆栈长短期记忆的基于转移的依赖句法分析

    该文提出了一种新的序列到序列神经网络控制结构 —— 堆栈 LSTM，用于学习过渡式依赖解析器的解析状态，将其应用于解析模型中，实现了解析器状态的三个方面，提高了解析性能。

    May, 2015

  • 基于序列到序列 Transformer 的结构感知微调用于基于转换的 AMR 分析

    探索将预训练的序列到序列语言模型与结构感知的基于转换的方法相集成，在提高 AMR 解析效果的同时保持先前基于转换的方法的优质属性，从而使模型更简单、更可靠。

    Oct, 2021

  • 利用 LSTM 对字符而非单词建模以提升转移式句法分析

    本文介绍了一种针对形态丰富的语言的连续状态依赖解析扩展方法，使用 LSTM 循环神经网络来学习表示解析器状态，将基于查找的词表示替换为由单词的正字表示构成的表示，使用字符编码来提高解析模型的表现。

    Aug, 2015

  • 使用双向 LSTM 进行最小特征的增量分析

    本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

    Jun, 2016

  • 转移和图形依存关系分析中的深度语境化词嵌入－重访两种解析器的故事

    通过对十三种语言的依存句法分析实验进行误差分析，本文表明基于转移和基于图的依存句法分析器具有互补的优缺点，深层上下文词嵌入有利于转移依存句法分析器更好地利用其准确的局部决策，使得这两种方法在精度和误差概要方面几乎等效。

    Aug, 2019

  • 全局归一化的转移依存神经网络

    本文介绍了一种全局归一化过渡式神经网络模型，其实现了最新的词性标注、依存分析和句子压缩结果，并探讨了全局与局部归一化的重要性。

    Mar, 2016

  • 使用堆叠 LSTM 进行 AMR 解析

    本文提出了一个基于转换的 AMR 解析器，该解析器可以直接从纯文本中生成 AMR 解析结果。使用 Stack-LSTMs 表示解析器状态并确保贪婪的决策，研究表明该解析器在英语上取得了非常有竞争力的成绩，仅使用 AMR 的训练数据，加入其他信息（如 POS 标签和依赖树）可以进一步提高结果。

    Jul, 2017

  • 利用上下文嵌入的基于转移的抽象含义表示解析

    该论文提出了一种名为 AmrBerger 的新的语义分析器，它探索了预训练上下文感知的单词嵌入在 AMR 分析中的可用性，并发现这些丰富的词汇特征与额外的概念信息的结合可以提高系统的性能。同时，通过分析，也展现了上下文嵌入的优点和局限，这为进一步深入理解提供了启示。

    Jun, 2022

  • 使用动作 - 指针变换器进行 AMR 解析

    本文提出了一种基于 Transformer 架构的、利用硬注意与目标端点机制相结合的过渡式 AMR 解析器，该解析器通过显式地对齐目标节点与源句子标记而提高了表现。

    Apr, 2021

  • 关于完全增量神经依存句法分析的挑战

    该研究论文探讨了基于现代架构的全面增量依存解析是否能够具备竞争力，并建立了将严格的从左到右神经编码器与全面增量序列标注和基于转换的解码器相结合的解析器。结果表明，基于现代架构的全面增量解析远远落后于双向解析，并注意到语言学上合理解析的挑战。

    Sep, 2023