EMNLPNov, 2016

一种联合多任务模型：为多个 NLP 任务构建神经网络

PDF
TL;DR本研究提出一种多任务学习模型，可以同时训练多种语言学层次的任务，并通过一种逐步增加深度的策略来解决越来越复杂的任务。该模型使用一个简单的正则化项来实现在提高某一任务的损失函数时，不影响其他任务的学习效果。实验结果表明，这个端到端的模型在标签、句法分析、相关性与蕴含等五种任务上取得了最先进或有竞争力的结果。
发现论文，激发创造
  • 一种简单的联合模型，用于改善上下文神经词形还原

    本文介绍了一个简单的神经模型，用于词形还原和形态标记，可以达到 20 种语言的最新结果，并表明联合形态标记和词形还原特别有助于低资源词形还原和形态复杂性较高的语言。

    Apr, 2019

  • 多任务和多语言模型用于词法分析

    该论文旨在研究和探索使用任务和语言之间的相关性来构建需要较少手动注释数据的自然语言处理模型，通过研究 60 种语言的多种 NLP 任务，该论文表明了联合多任务和多语言建模的潜力，并暗示从这些模型中可以获得语言学洞见。

    Sep, 2018

  • 基于多任务学习的文本分类循环神经网络

    本文提出了基于多任务学习框架的神经网络方法，采用循环神经网络来建模具有特定任务和共享层的文本，并在四个基准文本分类任务的实验中显示出该方法可以提高其他相关任务的性能。

    May, 2016

  • 神经语音翻译的绑定多任务学习

    本文探讨了用于神经语音翻译的多任务模型，并对其进行增强，以反映两个直观概念。精准的中间表示和神经关联的模式，参与模型的训练可以提高低资源语音转录和翻译任务的性能。

    Feb, 2018

  • 一种用于连贯性建模的多任务学习方法

    本研究提出一种层次神经网络模型，通过多任务学习，同时预测文档层次的信息连贯得分和词级别的语法角色，利用两个任务之间的归纳转移，提高模型泛化能力，并在不同任务中达到了新的最优表现。

    Jul, 2019

  • 从零开始的跨语言多任务序列标记

    本文提出了一种基于深度神经网络的序列标注方法，其包含多语言、多任务学习和交叉语言联合训练，并在包括词性标注、分块和命名实体识别等多个任务中取得了最优性能。

    Mar, 2016

  • 一种神经多任务学习框架，联合建模医疗实体识别和归一化

    文章提出了一种新颖的深度神经多任务学习框架，采用显式反馈策略联合建模识别和规范化任务，实现了一种将层次任务转化为并行的多任务设置，并保持任务之间的相互支持，从而显著提高了模型性能。实验证明，该方法在两个公开的医学文献数据集上的表现均显著优于现有方法。

    Dec, 2018

  • 自然语言处理中的多任务学习调查：关于任务相关性和训练方法

    本文对近期自然语言处理领域中的多任务学习方法进行了调查，总结了两种基于任务相关性的多任务训练方法：联合训练和多步训练。文章对自然语言处理领域中几个下游应用案例进行了说明，总结了任务关系，并讨论了未来的研究方向。

    Apr, 2022

  • 一个层次化多任务方法用于从语义任务中学习嵌入

    本研究介绍了一种使用多任务学习方式训练的分层模型，在一组精心选择的语义任务上取得了最新领先的结果，包括命名实体识别、实体提及检测和关系提取，无需手工设计特征或使用外部 NLP 工具，同时在模型的底层引入归纳偏差，促使模型产生共享语义表示。

    Nov, 2018

  • 从语义标记中我们能学到什么？

    本研究探索使用多任务学习的效果，其中将语义标注作为三种不同自然语言处理任务（词性标注，通用依赖解析和自然语言推理）的辅助任务。相比于全神经网络共享和部分神经网络共享，我们发现 “学习共享什么” 的环境中表现良好，特别是在所有任务中表现出一致的增益。

    Aug, 2018