EMNLPAug, 2015

利用 LSTM 对字符而非单词建模以提升转移式句法分析

PDF
TL;DR本文介绍了一种针对形态丰富的语言的连续状态依赖解析扩展方法，使用 LSTM 循环神经网络来学习表示解析器状态，将基于查找的词表示替换为由单词的正字表示构成的表示，使用字符编码来提高解析模型的表现。
发现论文，激发创造
  • 具有堆栈长短期记忆的基于转移的依赖句法分析

    该文提出了一种新的序列到序列神经网络控制结构 —— 堆栈 LSTM，用于学习过渡式依赖解析器的解析状态，将其应用于解析模型中，实现了解析器状态的三个方面，提高了解析性能。

    May, 2015

  • 基于堆栈变换器的转移句法分析

    本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现，并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征（AMR）分析任务的效果特别明显，尤其是在较小的模型或有限的训练数据下。

    Oct, 2020

  • 使用双向 LSTM 进行最小特征的增量分析

    本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

    Jun, 2016

  • 基于卷积神经网络的字符构成模型用于形态丰富语言的依存句法分析

    该研究提出了一种基于转移的依存句法分析器，使用卷积神经网络来从字符中组合单词表示。字符组合模型在解析结合语言方面表现出显著的改进，这些改进甚至比使用额外数据训练的预训练词嵌入模型更好。在 SPMRL 数据集上，与之前最好的贪心解析器相比，我们的系统平均提高了 3％的表现。

    May, 2017

  • 使用堆叠 LSTM 进行 AMR 解析

    本文提出了一个基于转换的 AMR 解析器，该解析器可以直接从纯文本中生成 AMR 解析结果。使用 Stack-LSTMs 表示解析器状态并确保贪婪的决策，研究表明该解析器在英语上取得了非常有竞争力的成绩，仅使用 AMR 的训练数据，加入其他信息（如 POS 标签和依赖树）可以进一步提高结果。

    Jul, 2017

  • 基于字符的神经元形态标注方法用于形态丰富语言

    本文探讨了适用于复杂形态和大标注集语言的神经字符基础形态标注，结合双向 LSTMs 建模跨单词上下文，发现网络架构和预训练词嵌入向量在‘简单’模型配置的情况下对准确度产生重要影响，通过增加深度优化神经网络可显著提高标注器准确度，最终德语和捷克语的最佳形态标注器性能显著优于文献中最好结果。

    Jun, 2016

  • 基于字符识别的神经语言模型

    本研究描述了一种仅依赖字符级输入的简单神经语言模型，该模型利用卷积神经网络和字符级公路网络作为输入，并将结果给予一种长短时记忆递归神经网络语言模型作为输出，该模型可以用较少的参数占据现有最先进的地位。此外，该模型表现出色的证明了许多语言所需的字符输入已经足够进行语言建模，且可以从字符组成的部分编码的单词表示中得到语义和字形信息。

    Aug, 2015

  • 带有 Stack LSTMs 的贪婪式联合句法语义分析

    本文介绍了一种基于转换的解析器，可以同时生成句法和语义依存关系，使用长短期记忆技术来学习算法状态的表示，并具有线性时间复杂度和特征提取，是目前在同时学习语法和语义的解析模型中性能最优的一种。

    Jun, 2016

  • 使用双向 LSTM 特征表示进行简单准确的依存句法分析

    使用双向 LSTM 神经网络构建特征向量，在依存句法分析中实现最新的结果。

    Mar, 2016

  • 使用分层树 LSTM 进行简单优先级依赖解析

    本文提出了一种基于递归组合的循环神经网络编码器的分析树组合向量表示方法，将其作为贪心自底向上的依赖关系分析器的骨干，无需外部词嵌入，实现了英语和中文的最新精度。

    Mar, 2016