May, 2018

使用循环神经网络和动态规划进行线性时间成分句法分析

PDF
TL;DR提出了一种基于 RNNs 和动态规划的图结构堆叠和波束搜索的线性时间组成成分句法分析器，通过集成立方剪枝，可以将其运行速度进一步提高到 O（n b log b），相对于图表解析基线，此线性时间解析器在长句子上的速度明显更快，对于话语分析来说速度更快，是单模型端到端系统中在 Penn Treebank 上达到的最高 F1 准确度。
span-basedconstituency parsinglinear-timernnscube pruning
发现论文，激发创造
  • 基于跨度的不连续组成句法分析：一系列时间复杂度从 O (n^6) 降至 O (n^3) 的准确基于图表的算法家族

    提出了一种用于跨度句法分析的基于图表的新算法，可以处理块度为 2 的不连续依存树，包括病态嵌套结构，在时间复杂度为 O (n^(6~3)) 之间构建其变异版本，并在德语和英语树库上评估其性能，包括预先训练的词嵌入和基于 BERT 的神经网络。

    Mar, 2020

  • 一种基于句法跨度的最小神经网络成分句法分析器

    本文介绍了一种基于 label 和 span 独立评分的最小神经模型，并证明了该模型不仅与经典的动态规划技术兼容，而且还支持一种基于递归分割的新颖贪心自顶向下推理算法。经实验证明，两种预测方案竞争力强，并且与得分模型的基本扩展相结合，能够实现 Penn Treebank 的单模型最优性能（91.79 F1），并在法语 Treebank 上获得强大的性能（82.23 F1）。

    May, 2017

  • 基于跨度的成分句法分析：结构标签系统和可证明最优动态预测

    通过使用仅包含句子跨度的最小 LSTM 特征表示的新的 shift-reduce 系统以及第一个可以证明最优的动态 Oracle，该算法的时间复杂度是摊销 O（1），相比于标准依赖解析的 O（n ^ 3）Oracle，我们在使用这个 Oracle 进行训练后，在不使用重新排名或外部数据的情况下取得了最好的 F1 分数，而句法解析准确度得到了显著提高。

    Dec, 2016

  • 快速准确的神经 CRF 短语结构句法分析

    本研究旨在提出一种快速准确的神经 CRF 成分句法分析器，采用内部算法批处理、边界表示和双仿射关注等手段，提高了句法分析的效率和性能，并在三个数据集上达到了最新的最高性能。

    Aug, 2020

  • 指向式高效组成句法分析

    我们提出了一种新的成分分析模型，将分析问题转化为一系列指向任务，支持高效的自上而下编码和学习目标。实验表明，我们的方法在不使用预训练模型的情况下取得 92.78 F1 的结果，使用预训练 BERT，达到了 95.48 F1 和最先进的技术水平相当。此外，我们的方法也在多语种成分分析领域实现了最新的技术进展。

    Jun, 2020

  • 神经组合成分解析

    该研究提出了两个快速神经组合模型，用于句法分析，分别是二元模型和多分支模型，它们的理论复杂度是次二次的，实际复杂度较低，其中二元模型在 Penn Treebank 上取得了 92.54 的 F1 分数，并以 1327.2 个句子 / 秒的速度进行解析。同时，该模型结合 XLNet，准确率接近英文句法分析的最新水平，并能够观察到 Penn Treebank、Chinese Treebank 和 Keyaki Treebank（日本）在训练和推理过程中的句法倾向和头向性。

    Jun, 2021

  • 利用跨度注意力机制改进组成结构分析

    本文提出了一种利用跨度注意力和分类跨度注意力的神经图表句法分析方法，通过加入 n-gram 信息，得以更好的建模上下文信息，并在阿拉伯语、中文和英语解析中都取得了最先进的性能。

    Oct, 2020

  • 更好、更快、更强的序列标注成分解析器

    本文提出一种有效的方法来使 constituent parsing 更加准确，通过学习切换标记方案、降低标签集的稀疏性、并细化多任务学习以减少错误传播，加上辅助损失和策略梯度句子级微调等技术，成功优化了英文和中文 Penn Treebanks 数据集的连续标记 constituent parsers 的性能，并在 SPMRL 数据集上实现了更大的性能提升，包括在巴斯克语、希伯来语、波兰语和瑞典语上建立了新的 state of the art。

    Feb, 2019

  • 使用双向 LSTM 进行最小特征的增量分析

    本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

    Jun, 2016

  • 通过成分测试的无监督解析

    本文提出了一种基于无监督成分测试的无监督解析方法。通过使用一组转换和一个无监督的神经接受模型来制定无监督解析器，以生成给定句子的树，通过聚合其成分测试判断来评分。并且通过反复改进预测出的树和提高语法性模型之间的相互作用，进一步提高了准确性。

    Oct, 2020