基于神经网络的端到端图形式 TAG 解析
本研究提出了一种新型的神经网络模型,该模型可以同时学习 POS 标记和基于图的依赖解析。该模型使用双向 LSTM 来学习两个任务共享的特征表示,从而解决了特征工程问题。该模型在 19 种语言的通用依赖关系项目上进行了广泛的实验,结果表明我们的模型优于基于神经网络的最新关于 POS 标记和基于转移的依赖解析的程序,从而取得了新的最优性能。
May, 2017
本文提出了一种新的神经网络模型,用于联合部分词性标注和依赖解析,将 BiLSTM 标记组件结合到 BIST 依赖解析器中,可对英语 Penn 语料库进行联合学习,模型在 LUS 和 UAS 评分上分别达到 94.51% 和 92.87%,并在多个评测数据集上都取得了最佳表现。
Jul, 2018
本文提出了一种新颖的神经网络体系结构,该体系结构利用了双向 LSTM,CNN 和 CRF 的组合,自动地从单词和字符级别表示中受益。我们的系统是真正的端到端的,不需要特征工程或数据预处理,因此适用于广泛的序列标注任务。我们在两个数据集上对我们的系统进行了评估,即 Penn Treebank WSJ 语料库用于词性标注和 CoNLL 2003 语料库用于命名实体识别。我们在这两个数据集上获得了最先进的性能 - 词性标注的准确率为 97.55%,命名实体识别的 F1 值为 91.21%。
Mar, 2016
本文探讨了适用于复杂形态和大标注集语言的神经字符基础形态标注,结合双向 LSTMs 建模跨单词上下文,发现网络架构和预训练词嵌入向量在‘简单’模型配置的情况下对准确度产生重要影响,通过增加深度优化神经网络可显著提高标注器准确度,最终德语和捷克语的最佳形态标注器性能显著优于文献中最好结果。
Jun, 2016
本研究使用 Tree-LSTM 模型和 Tree-GRU 模型将句法分析树加入神经网络以编码关系中的参数,同时利用组成标记控制这些树状神经网络中的语义组合过程,实验结果表明我们的方法在 PDTB 语料库中达到了最先进的性能。
Mar, 2018
本文提出了使用基于转移的神经网络联合进行词性标注和依存分析的方法,实现了标签冲突、移位 / 归约冲突和标记冲突的解决。实验表明,我们的方法在各种自然语言的联合词性标注和依存分析方面明显优于之前的方法。
Apr, 2017
通过提出一种新颖高效的方法 LEADING,实现了对大型语言模型在文本属性图(TAGs)上的端到端微调,具有比现有方法更高的计算和数据效率,为一系列大型语言模型和基于 TAGs 的图学习任务提供了有前景的解决方案。
Dec, 2023
通过使用 pointer networks 实现的转移句法分析器在依赖句法分析方面已经成为最新的技术水平,我们提出了一种基于指针网络的转移系统,可以直接生成标记有方向无环图并实现语义依赖分析。同时,我们使用从 BERT 提取的深层上下文化的词嵌入来增强我们的方法。这一结果不仅超越了所有现有的基于转移的模型,而且还匹配了 SemEval 2015 任务 18 英语数据集上先前最先进的基于图形的解析器的最佳完全监督准确率。
May, 2020