一个语义分析器解析所有问题：基于序列到序列多任务学习的语义解析数据集

Jun, 2021

一个语义分析器解析所有问题：基于序列到序列多任务学习的语义解析数据集

One Semantic Parser to Parse Them All: Sequence to Sequence Multi-Task Learning on Semantic Parsing Datasets

Marco Damonte, Emilio Monti

TL;DR本文为研究使用多任务学习 (MTL) 框架统一不同的含义数据集和训练单一模型，使用了五个数据集 (Geoquery，NLMaps，TOP，Overnight，AMR) 进行实验，我们发现在不增加总参数数量的情况下，全网络共享的 MTL 架构的解析精度与单任务的基线相当或更好，同时也提供了更好的组合推广性，我们还提出了一种可与广泛使用的比例抽样策略相比较的竞争性选择任务抽样方法。

Abstract

semantic parsers map natural language utterances to meaning representations. The lack of a single standard for meaning representations led to the creation of a plethora of semantic parsing datasets. To unify diff

semantic parsers multi-task learning semantic parsing datasets parsing accuracies compositional generalization

发现论文，激发创造

神经语义解析的迁移学习

本文提出了一种基于多任务框架和序列到序列模型的语义解析方法，旨在解决语料数据不足限制，较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升，实验结果在自己的数据集中获得了 1.0% 到 4.4% 的准确度提升，在 ATIS 语义解析任务中，准确度提升了 2.5% 到 7.0%。

Jun, 2017

多任务序列到序列学习

本文探讨了序列到序列模型下的多任务学习问题，主要包括共享编码器和解码器的三种设置，结果表明使用少量的解析和图像标题数据训练模型可以有效地提高翻译质量并在一些测试中实现新的最优结果，并揭示了自编码器和跳越思考等两种无监督学习目标在多任务学习上的有趣属性。

Nov, 2015

跨表征学习的序列标注解析

本文将解析问题作为多任务学习来探究，通过添加解析范式作为辅助损失，在其他范式表现中保持一致提高性能，探讨了一种 MTL 序列标记模型，以几乎不损失性能和速度的代价解析两个表示，总体结果表明，平均来说，具有属于成分解析的辅助损失的 MTL 模型比单任务模型高 1.14 F1 点，而用于依赖解析的辅助损失提升 0.62 UAS 点。

Jul, 2019

自然语言处理中的多任务学习：概述

本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

Sep, 2021

序列标注的多任务学习：实证研究

通过研究 11 个序列标注任务中的三种多任务学习方法，我们发现在大约 50% 的情况下，联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠，哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。

Aug, 2018

语义依存分析的深度多任务学习

本文介绍了一种基于深度学习的语义依存图形式分析系统，该系统采用效率高且几乎拓扑结构简单的推理方法，通过组合双向 - LSTM 和多层感知机，能够在不使用手工特征或语法的情况下显著提高语义依存分析的技术水平。作者还对多任务学习策略进行了研究，并获得了新的技术成果。

Apr, 2017

多知识库神经语义解析

通过在不同领域的语言中利用结构规律，并在多个知识库中共享信息来训练语义解析器的序列到序列模型，同时在解码时提供域的编码，可以显著提高解析准确性，从而实现了针对 Overnight 数据集（包含八个领域）的最新性能，将模型参数的数量降低了 7 倍。

Feb, 2017

MTOP: 一个全面的多语言任务导向的语义解析基准

本文提出了一种新的多语言数据集 MTOP，用于任务导向的语义解析，并使用该数据集和其他公开数据集来对最新的多语言预训练模型进行全面的基准测试，得到了 6.3 个 Slot F1 平均提高，并展示了使用预训练模型和自动翻译和对齐，以及远程监督方法结合，以减少槽标签投影中的噪声来实现强大的零 - shot 性能。

Aug, 2020

API 中的多语言语义解析

通过训练多个数据集和自然语言的模型，实现多语言语义解析，将文本转换为代码标识，通过图形解码框架并在多个基准测试中取得了最优表现。

Mar, 2018

跨语义表示的多任务解析

本文针对语义解析的性能进行改进，使用多任务学习方法，将 UCCA 解析作为测试案例，辅助任务包括 AMR 解析、SDP 解析和 Universal Dependencies 解析。实验表明，多任务学习显著提高了 UCCA 解析的性能。

May, 2018