神经成分句法分析器的研究分析
本文研究了两种概念简单的本地神经模型,在成分分析中取得了高度竞争的结果,分别实现了 PTB 和 CTB5.1 中的标记支架 F1 得分为 92.4%和 87.3%。
Aug, 2018
本文探讨了当前神经语法学习方法对句法结构的表征方式,以及限制神经语法学习方法的表征能力的主要因素,并利用概率上下文无关文法为基础,说明上下文对神经语法学习方法进行语法分析决策时的关键作用。
Jun, 2021
该研究提出了两个快速神经组合模型,用于句法分析,分别是二元模型和多分支模型,它们的理论复杂度是次二次的,实际复杂度较低,其中二元模型在 Penn Treebank 上取得了 92.54 的 F1 分数,并以 1327.2 个句子 / 秒的速度进行解析。同时,该模型结合 XLNet,准确率接近英文句法分析的最新水平,并能够观察到 Penn Treebank、Chinese Treebank 和 Keyaki Treebank(日本)在训练和推理过程中的句法倾向和头向性。
Jun, 2021
本文研究神经语言模型对句法结构的学习能力,发现预训练的 Transfomer LM 即使在语义有错的情况下仍能准确地代表不同类别的成分,并且语法信息确实被 LM 学习并与语义信息分离。
Apr, 2022
本文从语法分析的角度出发,通过探索不同的句法分析方法和语法特征对大脑语言网络的影响,以及与语义信息的关系,研究了其对大脑活动的预测能力,发现不同的语法分析方法在大脑不同区域的编码效果不同,而语法信息和语义信息的结合能够更好地预测大脑活动。
Feb, 2023
本文介绍了一种基于 label 和 span 独立评分的最小神经模型,并证明了该模型不仅与经典的动态规划技术兼容,而且还支持一种基于递归分割的新颖贪心自顶向下推理算法。经实验证明,两种预测方案竞争力强,并且与得分模型的基本扩展相结合,能够实现 Penn Treebank 的单模型最优性能(91.79 F1),并在法语 Treebank 上获得强大的性能(82.23 F1)。
May, 2017
采用领域无关的注意力增强序列到序列模型在一大合成语料库的标注基础上取得了最先进的效果,训练小规模人工标注的数据集时也达到了标准解析器的表现,且较大程度上提高了数据利用率和处理速度。
Dec, 2014
研究基于序列的神经网络与基于树的网络在句法任务上的表现,并比较常见的句法表示方法对句法结构带来的影响,同时发现基于组成结构的网络更具鲁棒性,通过少量构建的数据 fine-tune 可以显着提高序列模型的性能,表明数据增强是为序列模型注入句法偏置的可行替代方案。
Apr, 2020
本文研究将非局部特征注入本地基于跨度的解析器的训练过程中,通过预测组成成分 n-gram 非局部模式并确保非局部模式与本地成分的一致性,结果显示,我们的方法在 PTB 和 CTB 上均优于自我注意解析器,在 PTB 上达到 BERT 的最新性能(95.92 F1),并在 CTB 上获得强大的性能(92.31 F1)。与基线相比,在多语言和零 - shot 跨领域设置中,我们的解析器也实现了更好或具有竞争力的性能。
Sep, 2021
本文提出了一种利用跨度注意力和分类跨度注意力的神经图表句法分析方法,通过加入 n-gram 信息,得以更好的建模上下文信息,并在阿拉伯语、中文和英语解析中都取得了最先进的性能。
Oct, 2020