外语语法
本文提出了一种语法指导的本地化自注意力 Transformer,该方法允许直接从外部成分句法分析器中加入语法结构,禁止注意机制通过加权距离较远但语法正确的令牌而不是接近的令牌。实验结果显示,我们的模型可以在从小到大不同规模的机器翻译数据集上持续地提高翻译性能。
Oct, 2022
研究了现代和经典的组成分析方法的差异,以及神经网络在此领域的应用。高性能的神经模型代表了最新的工作,实验发现该模型隐式编码了过去语法和词汇表明确提供的信息,暗示这种支撑可以被强大的通用神经机制取代。
Apr, 2018
本文提出一种有效的方法来使 constituent parsing 更加准确,通过学习切换标记方案、降低标签集的稀疏性、并细化多任务学习以减少错误传播,加上辅助损失和策略梯度句子级微调等技术,成功优化了英文和中文 Penn Treebanks 数据集的连续标记 constituent parsers 的性能,并在 SPMRL 数据集上实现了更大的性能提升,包括在巴斯克语、希伯来语、波兰语和瑞典语上建立了新的 state of the art。
Feb, 2019
该研究提出了一种基于语法规则的非监督句法树生成方法,利用了语言的通用语法知识,采用强化学习和自编码器等技术,在 MNLI 和 WSJ 两个基准数据集上实现了最好的结果。
May, 2021
本文提出了一种利用跨度注意力和分类跨度注意力的神经图表句法分析方法,通过加入 n-gram 信息,得以更好的建模上下文信息,并在阿拉伯语、中文和英语解析中都取得了最先进的性能。
Oct, 2020
本文研究了两种概念简单的本地神经模型,在成分分析中取得了高度竞争的结果,分别实现了 PTB 和 CTB5.1 中的标记支架 F1 得分为 92.4%和 87.3%。
Aug, 2018
本文提出了一种基于无监督成分测试的无监督解析方法。通过使用一组转换和一个无监督的神经接受模型来制定无监督解析器,以生成给定句子的树,通过聚合其成分测试判断来评分。并且通过反复改进预测出的树和提高语法性模型之间的相互作用,进一步提高了准确性。
Oct, 2020
本文从语法分析的角度出发,通过探索不同的句法分析方法和语法特征对大脑语言网络的影响,以及与语义信息的关系,研究了其对大脑活动的预测能力,发现不同的语法分析方法在大脑不同区域的编码效果不同,而语法信息和语义信息的结合能够更好地预测大脑活动。
Feb, 2023
本研究旨在提高在训练数据中标注少量标签的情况下诱导策略。我们发现最具信息量的语言成分是树状结构中更高层的节点,通常代表复杂的名词短语和句子从句,这些仅占所有成分的 20%。针对标注数据稀疏(例如仅有高层成分标签)的语法诱导,提出了一种适应策略,可以产生与从完全标注的语料库诱导的语法几乎一样好的语法。我们的结果表明,为了取代人工注释员,部分解析器必须能够自动提取更高层次的成分,而不是基本名词短语。
May, 1999
本文探讨了当前神经语法学习方法对句法结构的表征方式,以及限制神经语法学习方法的表征能力的主要因素,并利用概率上下文无关文法为基础,说明上下文对神经语法学习方法进行语法分析决策时的关键作用。
Jun, 2021