ACLMay, 2015

具有堆栈长短期记忆的基于转移的依赖句法分析

PDF
TL;DR该文提出了一种新的序列到序列神经网络控制结构 —— 堆栈 LSTM，用于学习过渡式依赖解析器的解析状态，将其应用于解析模型中，实现了解析器状态的三个方面，提高了解析性能。
发现论文，激发创造
  • 利用 LSTM 对字符而非单词建模以提升转移式句法分析

    本文介绍了一种针对形态丰富的语言的连续状态依赖解析扩展方法，使用 LSTM 循环神经网络来学习表示解析器状态，将基于查找的词表示替换为由单词的正字表示构成的表示，使用字符编码来提高解析模型的表现。

    Aug, 2015

  • 基于堆栈变换器的转移句法分析

    本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现，并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征（AMR）分析任务的效果特别明显，尤其是在较小的模型或有限的训练数据下。

    Oct, 2020

  • 带有 Stack LSTMs 的贪婪式联合句法语义分析

    本文介绍了一种基于转换的解析器，可以同时生成句法和语义依存关系，使用长短期记忆技术来学习算法状态的表示，并具有线性时间复杂度和特征提取，是目前在同时学习语法和语义的解析模型中性能最优的一种。

    Jun, 2016

  • 使用双向 LSTM 进行最小特征的增量分析

    本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

    Jun, 2016

  • 可并行的堆栈长短期记忆

    本文研究了如何利用 Stack Long Short-Term Memory (StackLSTM) 的状态访问模式来优化 GPU 训练，将不同的离散操作同质化。实验结果表明，该方法在批处理大小增加时具有几乎线性的可扩展性，而我们的 PyTorch 实现的训练速度也比 Dynet C ++ 实现快得多。

    Apr, 2019

  • 使用分层树 LSTM 进行简单优先级依赖解析

    本文提出了一种基于递归组合的循环神经网络编码器的分析树组合向量表示方法，将其作为贪心自底向上的依赖关系分析器的骨干，无需外部词嵌入，实现了英语和中文的最新精度。

    Mar, 2016

  • 使用双向 LSTM 特征表示进行简单准确的依存句法分析

    使用双向 LSTM 神经网络构建特征向量，在依存句法分析中实现最新的结果。

    Mar, 2016

  • 基于上下文的语义解析在时间结构数据上的应用

    本文介绍了一种新的语义解析设置，使用户能够使用自然语言问题和图形用户界面内的操作查询系统。我们设计了一个基于 LSTM 的编码器 - 解码器架构，通过复制机制和多级输入和先前输出的注意力来建模上下文依赖性。使用策略梯度训练该架构可进一步提高性能，在人工数据上达到了 88.7% 的序列级准确度，在实际数据上达到了 74.8%。

    May, 2019

  • 基于图 LSTM 的语义对象分析

    本文提出了一种新的基于图结构的 LSTM 网络 (Graph LSTM)，将任意形状的超像素作为拓扑结构的节点来自适应构建图拓扑结构，提供更加自然的信息传递路径，并使用自信度驱动的策略逐渐更新节点的隐藏状态和记忆状态。在四个数据集上进行综合评估表明，Graph LSTM 相对于其他最先进的解决方案具有显著的优越性。

    Mar, 2016

  • 关于完全增量神经依存句法分析的挑战

    该研究论文探讨了基于现代架构的全面增量依存解析是否能够具备竞争力，并建立了将严格的从左到右神经编码器与全面增量序列标注和基于转换的解码器相结合的解析器。结果表明，基于现代架构的全面增量解析远远落后于双向解析，并注意到语言学上合理解析的挑战。

    Sep, 2023