本文研究如何利用转移学习的方法,通过训练 character-level recurrent neural taggers 的方式,使得高资源语言和低资源语言都能够正确预测 morphological taggings,成功地实现了多语言间的知识迁移,有效提高了准确性达 30%。
Aug, 2017
本文旨在研究对于资源贫乏的语言的快速语言注释工具的发展,我们采用递归神经网络模型实验了多种跨语言注释映射方法。我们提出了一种真正的多语言标记器方法,并通过使用平行语料库证实了其有效性和通用性。
Sep, 2016
本研究提出一种多任务学习模型,可以同时训练多种语言学层次的任务,并通过一种逐步增加深度的策略来解决越来越复杂的任务。该模型使用一个简单的正则化项来实现在提高某一任务的损失函数时,不影响其他任务的学习效果。实验结果表明,这个端到端的模型在标签、句法分析、相关性与蕴含等五种任务上取得了最先进或有竞争力的结果。
Nov, 2016
本研究提出了一种基于神经网络潜在能力的因子条件随机场模型,可用于语言之间的跨领域形态标注技术,在低资源语言中展现出卓越的标注准确性。
May, 2018
本文研究了神经网络在序列标注任务上的最优表现及其通用性,接着讨论了序列标注中的迁移学习问题,并验证了将源任务应用于目标任务可以大幅提高性能,从而超越了多个经典任务的最优表现。
Mar, 2017
本文提出了多语言语言模型与深度语义对准(MLMA),用于产生跨语言标注的语言无关表示,方法不需要平行数据或一个词一个词匹配,只需要单语语料库,并利用深度上下文表示。实验结果表明,本方法在欧洲语言以及英语和汉语等远距离语言对上实现了新的最新 NER 和 POS 性能。
Oct, 2019
本文提出了基于多任务学习框架的神经网络方法,采用循环神经网络来建模具有特定任务和共享层的文本,并在四个基准文本分类任务的实验中显示出该方法可以提高其他相关任务的性能。
May, 2016
提出了一种适用于低资源语言的模型来训练形态标记器,该模型使用 Wesabie 模型进行打标, 通过在语料库中引入 POS 词性标注的元信息,将标记信息从富资源语言映射到贫资源语言,实现了跨语言知识的迁移,可以提高句法分析的效果。
Jun, 2016
本文探讨了一种半监督的方法,通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务,相比其他转移学习或添加标记数据和任务特定词典的方法,在命名实体识别和块分割等任务上实现了最先进的结果。
Apr, 2017
本研究提出了一种新颖的神经网络框架,将预先训练好的字级知识和字符感知神经语言模型相结合,利用转移学习技术实现不依赖于额外监督信号的序列标注任务,并在基准数据集上通过大量实验验证了其有效性和高效性。
Sep, 2017