ACLJun, 2016

使用双向 LSTM 进行最小特征的增量分析

PDF
TL;DR本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。
neural network approachesbi-directional lstm sentence representationsdependency parsingconstituency parsingstate-of-the-art results
发现论文，激发创造
  • 使用双向 LSTM 特征表示进行简单准确的依存句法分析

    使用双向 LSTM 神经网络构建特征向量，在依存句法分析中实现最新的结果。

    Mar, 2016

  • 关于完全增量神经依存句法分析的挑战

    该研究论文探讨了基于现代架构的全面增量依存解析是否能够具备竞争力，并建立了将严格的从左到右神经编码器与全面增量序列标注和基于转换的解码器相结合的解析器。结果表明，基于现代架构的全面增量解析远远落后于双向解析，并注意到语言学上合理解析的挑战。

    Sep, 2023

  • 神经预读特征的移进 - 规约成分句法分析

    本文针对移位 - 归约分析的相对弱点，利用双向 LSTM 模型提取向前追望特征，并将结果传递给强大的过渡性成分分析器，提高了 1.3% 在 WSJ 和 2.3% 在 CTB 中的准确性。

    Dec, 2016

  • 基于堆栈变换器的转移句法分析

    本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现，并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征（AMR）分析任务的效果特别明显，尤其是在较小的模型或有限的训练数据下。

    Oct, 2020

  • 具有堆栈长短期记忆的基于转移的依赖句法分析

    该文提出了一种新的序列到序列神经网络控制结构 —— 堆栈 LSTM，用于学习过渡式依赖解析器的解析状态，将其应用于解析模型中，实现了解析器状态的三个方面，提高了解析性能。

    May, 2015

  • 利用 LSTM 对字符而非单词建模以提升转移式句法分析

    本文介绍了一种针对形态丰富的语言的连续状态依赖解析扩展方法，使用 LSTM 循环神经网络来学习表示解析器状态，将基于查找的词表示替换为由单词的正字表示构成的表示，使用字符编码来提高解析模型的表现。

    Aug, 2015

  • 使用分层树 LSTM 进行简单优先级依赖解析

    本文提出了一种基于递归组合的循环神经网络编码器的分析树组合向量表示方法，将其作为贪心自底向上的依赖关系分析器的骨干，无需外部词嵌入，实现了英语和中文的最新精度。

    Mar, 2016

  • 基于 BiLSTM 的依存分析器结构特征的非实用性

    本文比较了传统的非神经依存解析器和基于 BiLSTM 模型的依存解析器的结构特征，讨论了其决策过程中的隐含信息来源，并通过模型实验表明，结构上下文对模型有着显著的影响。

    May, 2019

  • 神经组合成分解析

    该研究提出了两个快速神经组合模型，用于句法分析，分别是二元模型和多分支模型，它们的理论复杂度是次二次的，实际复杂度较低，其中二元模型在 Penn Treebank 上取得了 92.54 的 F1 分数，并以 1327.2 个句子 / 秒的速度进行解析。同时，该模型结合 XLNet，准确率接近英文句法分析的最新水平，并能够观察到 Penn Treebank、Chinese Treebank 和 Keyaki Treebank（日本）在训练和推理过程中的句法倾向和头向性。

    Jun, 2021

  • 语义依存分析的深度多任务学习

    本文介绍了一种基于深度学习的语义依存图形式分析系统，该系统采用效率高且几乎拓扑结构简单的推理方法，通过组合双向 - LSTM 和多层感知机，能够在不使用手工特征或语法的情况下显著提高语义依存分析的技术水平。作者还对多任务学习策略进行了研究，并获得了新的技术成果。

    Apr, 2017