May, 2019

基于 BiLSTM 的依存分析器结构特征的非实用性

PDF
TL;DR本文比较了传统的非神经依存解析器和基于 BiLSTM 模型的依存解析器的结构特征，讨论了其决策过程中的隐含信息来源，并通过模型实验表明，结构上下文对模型有着显著的影响。
发现论文，激发创造
  • 使用双向 LSTM 进行最小特征的增量分析

    本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

    Jun, 2016

  • 使用双向 LSTM 特征表示进行简单准确的依存句法分析

    使用双向 LSTM 神经网络构建特征向量，在依存句法分析中实现最新的结果。

    Mar, 2016

  • 转移和图形依存关系分析中的深度语境化词嵌入－重访两种解析器的故事

    通过对十三种语言的依存句法分析实验进行误差分析，本文表明基于转移和基于图的依存句法分析器具有互补的优缺点，深层上下文词嵌入有利于转移依存句法分析器更好地利用其准确的局部决策，使得这两种方法在精度和误差概要方面几乎等效。

    Aug, 2019

  • 探究神经组成句法分析的非局部特征

    本文研究将非局部特征注入本地基于跨度的解析器的训练过程中，通过预测组成成分 n-gram 非局部模式并确保非局部模式与本地成分的一致性，结果显示，我们的方法在 PTB 和 CTB 上均优于自我注意解析器，在 PTB 上达到 BERT 的最新性能（95.92 F1），并在 CTB 上获得强大的性能（92.31 F1）。与基线相比，在多语言和零 - shot 跨领域设置中，我们的解析器也实现了更好或具有竞争力的性能。

    Sep, 2021

  • 关于完全增量神经依存句法分析的挑战

    该研究论文探讨了基于现代架构的全面增量依存解析是否能够具备竞争力，并建立了将严格的从左到右神经编码器与全面增量序列标注和基于转换的解码器相结合的解析器。结果表明，基于现代架构的全面增量解析远远落后于双向解析，并注意到语言学上合理解析的挑战。

    Sep, 2023

  • 神经成分句法分析器的研究分析

    研究了现代和经典的组成分析方法的差异，以及神经网络在此领域的应用。高性能的神经模型代表了最新的工作，实验发现该模型隐式编码了过去语法和词汇表明确提供的信息，暗示这种支撑可以被强大的通用神经机制取代。

    Apr, 2018

  • 更好的命名实体识别特征集成

    本文提出了一种简单而强大的方法 —— Synergized-LSTM 来结合 linear sequences 和 dependency trees 两类特征以优化 named entity recognition 的效果；实验结果显示，相较于基于 LSTM 和 GCN 的模型，该方法在四种语言的多个标准数据集上均有更好的表现，同时需要更少的参数，并能够更好地捕获长距离依赖。

    Apr, 2021

  • 学习结构化文本表示

    本文提出一种可以在没有语篇分析器或额外注释的情况下，从数据中学习具有结构感知能力的文档表示的模型，该模型通过将可微分非项目句法分析算法嵌入神经模型，使用注意机制来结合结构偏置，从而产生具有解释性和意义的中间结构，并在不同任务和数据集上实验验证表明，该模型在文档建模任务中取得了最先进的结果。

    May, 2017

  • 神经成分句法分析的两种本地化模型

    本文研究了两种概念简单的本地神经模型，在成分分析中取得了高度竞争的结果，分别实现了 PTB 和 CTB5.1 中的标记支架 F1 得分为 92.4％和 87.3％。

    Aug, 2018

  • 基于堆栈变换器的转移句法分析

    本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现，并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征（AMR）分析任务的效果特别明显，尤其是在较小的模型或有限的训练数据下。

    Oct, 2020