文本分类的对抗多任务学习

ACLApr, 2017

Adversarial Multi-task Learning for Text Classification

Pengfei Liu, Xipeng Qiu, Xuanjing Huang

TL;DR本文提出了一个基于对抗学习的多任务学习框架，在 16 个文本分类任务上的实验结果表明了该方法的优势，并证明了模型学习到的共享知识可以作为现成的知识轻松迁移到新的任务中。

Abstract

neural network models have shown their promising opportunities for multi-task learning, which focus on learning the shared layers to extract the common and task-invariant features. However, in most existing approaches, the extracted shared features are prone to be contaminated by task-

neural network multi-task learning adversarial learning text classification off-the-shelf knowledge

发现论文，激发创造

基于多任务学习的文本分类循环神经网络

本文提出了基于多任务学习框架的神经网络方法，采用循环神经网络来建模具有特定任务和共享层的文本，并在四个基准文本分类任务的实验中显示出该方法可以提高其他相关任务的性能。

May, 2016

多任务学习中的隐藏任务的对抗攻击

该研究论文调查了针对多任务分类器中隐藏任务的攻击的可行性，提出了一种新颖的敌对攻击方法，利用非目标任务的知识和多任务模型的共享主干网络迫使模型遗忘与目标任务相关的知识，实验证明了该方法在削弱隐藏任务的准确性方面的有效性，并且保留了可见任务的性能，有助于了解多任务分类器中的敌对性漏洞。

May, 2024

多域文本分类的双对抗协同学习

本文提出了一种新颖的双对抗协同学习方法，用于多领域文本分类，该方法利用共享 - 私有网络进行特征提取，并在不同域和标签与未标签数据同时下采用双重对抗正则化来对齐特征，并旨在通过所学习的特征来提高分类器的泛化能力。我们在多领域情感分类数据集上进行了实验，结果表明所提出的方法达到了目前最先进的多领域文本分类性能。

Sep, 2019

共享内存的深度多任务学习

本研究提出了两种深度神经网络结构，加入外部记忆共享于多个任务中训练，实验表明该结构帮助相关任务，提高文本分类任务效果。

Sep, 2016

AdaShare：学习数据共享策略以提高深度多任务学习效率

本文提出了一种自适应共享方法 AdaShare，通过任务特定的策略选择性地决定跨哪些任务共享众多的深度神经网络层，从而实现最佳识别准确度和资源效率。实验表明，该方法针对具有多个任务的不同基准数据集具有优异的效果。

Nov, 2019

一种用于多任务学习的文本分类泛循环神经网络架构

通过引入四种递归神经层实现多任务结构信息融合，对多个相关任务间的复杂互动进行建模，从而在文本分类任务中显著提升相关任务的性能。

Jul, 2017

针对联合多特征和多方言形态建模的对抗多任务学习

本文探索了利用多任务学习和敌对训练方法解决形态丰富的阿拉伯语言以及方言差异问题，并以现代标准阿拉伯语（高资源方言）和埃及阿拉伯语（低资源方言）为案例，在全面的形态标注中取得了最先进的结果。

Oct, 2019

序列标注的多任务领域自适应

本文提出了一种支持多任务领域自适应的神经网络框架，并应用于中文分词和命名实体识别两个任务的领域自适应。实验结果表明，该框架比独立的领域自适应方法在两个任务上都获得更好的结果，并在社交媒体领域达到了最先进的水平。

Aug, 2016

利用对抗训练在自学习中进行跨语言文本分类

本研究提出了一种半监督敌对训练过程，通过最小化标签保留输入扰动的最大损失来改进跨语言文本分类，进而为目标语言样本诱导标签以进一步适应模型。与多个强基线比较，我们观察到了在各种语言的文档和意图分类上的显著增益。

Jul, 2020

多任务学习增强对抗鲁棒性

深度网络在计算机视觉方面的准确性很高，但仍然容易受到对抗性攻击。本文理论和实验分析表明，训练模型的对抗鲁棒性与其训练任务的数量有关，多任务训练可以提高模型对单个任务的对抗攻击鲁棒性。尽管对抗防御仍是一个挑战，但本研究表明深度网络之所以容易受攻击，部分原因是它们只是在少数任务上进行了训练。

Jul, 2020