序列建模的元多任务学习

AAAIFeb, 2018

Meta Multi-Task Learning for Sequence Modeling

Junkun Chen, Xipeng Qiu, Pengfei Liu, Xuanjing Huang

TL;DR本研究提出了一个新的语义合成共享方式，使用一个共享的元网络来捕捉语义合成的元知识并生成任务特定的语义合成模型的参数，实验表明这种方法在文本分类和序列标注等任务中具有许多优势，并且我们的提议的模型学习到的共享的元知识可以作为现成知识很容易地转移到新的任务中。

Abstract

semantic composition functions have been playing a pivotal role in neural representation learning of text sequences. In spite of their success, most existing models suffer from the underfitting problem: they use the same shared compositional function on all the positions in the sequenc

semantic composition functions neural representation learning shared meta-knowledge text classification sequence tagging

发现论文，激发创造

元序列转序列学习实现的组成泛化

本文介绍了如何通过元 seq2seq 学习策略来改进记忆增强神经网络，在此方法中，模型通过一系列的 seq2seq 问题进行训练，从而获得解决新 seq2seq 问题所需的组合技能，进而解决了组合学习的一些问题。

Jun, 2019

语义标记实现组合泛化

在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

Oct, 2020

元学习以复合泛化为目标

自然语言是组成的，神经网络在组成泛化方面表现差，自相似度驱动的元学习可提高自然语言处理模型的组成泛化能力。

Jun, 2021

学习适当组合句法和语义表示以实现组合泛化

该研究提出了 COMPSITION 模型，它是 Seq2Seq 模型的一个扩展，旨在通过引入一个复合层来适当地学习不同编码器层的表示，以生成传递到不同解码器层的不同键和值，从而在两个现实基准上取得了有竞争力的甚至是最先进的结果。

May, 2023

一个语义分析器解析所有问题：基于序列到序列多任务学习的语义解析数据集

本文为研究使用多任务学习 (MTL) 框架统一不同的含义数据集和训练单一模型，使用了五个数据集 (Geoquery，NLMaps，TOP，Overnight，AMR) 进行实验，我们发现在不增加总参数数量的情况下，全网络共享的 MTL 架构的解析精度与单任务的基线相当或更好，同时也提供了更好的组合推广性，我们还提出了一种可与广泛使用的比例抽样策略相比较的竞争性选择任务抽样方法。

Jun, 2021

组合性作为词汇对称性

该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。

Jan, 2022

基于半监督多任务学习的序列标注

本文提出了一种序列标注框架，采用辅助训练目标，并通过学习预测数据集中每个词周围的单词进行语言建模，以此学习通用的语义和语法组合模式，并在不需要额外标注或未标注数据的情况下，实现在多个序列标注任务上取得一致的性能提升。

Apr, 2017

序列标注的多任务学习：实证研究

通过研究 11 个序列标注任务中的三种多任务学习方法，我们发现在大约 50% 的情况下，联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠，哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。

Aug, 2018

有效多任务和多语言建模的元学习

通过元学习方法，将任务和语言相互作用的表征共享，可提高自然语言处理任务和多语种任务性能。

Jan, 2021

多任务序列到序列学习

本文探讨了序列到序列模型下的多任务学习问题，主要包括共享编码器和解码器的三种设置，结果表明使用少量的解析和图像标题数据训练模型可以有效地提高翻译质量并在一些测试中实现新的最优结果，并揭示了自编码器和跳越思考等两种无监督学习目标在多任务学习上的有趣属性。

Nov, 2015