Jun, 2018

自然语言十项全能：将多任务学习作为问答问题

PDF
TL;DR介绍了 Natural Language Decathlon（decaNLP），并使用 Multitask Question Answering Network（MQAN）实现了一种多任务学习方法，可以应用于十种常见自然语言处理任务，并且可以提高机器翻译、情感分析、文本分类等任务的迁移学习和领域自适应能力，并在 WikiSQL 语义解析任务上实现了最先进的结果。
deep learningnatural language processingmultitaskingtransfer learningmqan
发现论文，激发创造
  • 2020 年代自然语言处理的多任务学习：我们将走向何方？

    本文主要综述了自然语言处理领域中最近的多任务学习 (MTL) 的研究进展，重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。

    Jul, 2020

  • 现代问答数据集和基准：一项调查

    本文调查了在深度学习时代发布的有影响力的问答数据集，并介绍了文本问答和视觉问答两个最常见的问答任务，涵盖了最具代表性的数据集，并提出了当前的一些 QA 研究挑战。

    Jun, 2022

  • AMUSE: 面向语义链接数据的多语言问答语义解析

    研究发现，多语言自然语言问答技术仍存在困难，我们提出了一种利用 DUDES 和 MCMC 方法建立模型的 QALD 管道，成功将自然语言问题转换为可执行的 SPARQL 查询，并且在英语、德语和西班牙语环境下进行了测试。

    Feb, 2018

  • 自然语言处理中的多任务学习：概述

    本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

    Sep, 2021

  • 基于语言建模的多任务学习：问句生成

    本文探讨了答案感知的问题生成任务，提出了在基于注意力机制的指针生成模型中，通过将语言建模转化为辅助任务，将问题生成纳入分层多任务学习结构。我们的联合学习模型使编码器能够学习到更好的输入序列表示，从而指导解码器生成更连贯、流畅的问题。在 SQuAD 和 MARCO 数据集上，我们的多任务学习模型提高了性能，取得了最先进的结果。此外，人类评估进一步证明了我们生成的问题的高质量。

    Aug, 2019

  • MEDIQA 2019：利用语言推理和问题蕴含的多任务学习进行答案过滤和重新排序的五边形模型

    本文介绍了一种在多任务设置中训练的端对端系统，使用任务特定的预训练模型作为深度特征提取器，以过滤和重新排列医学领域答案的方法来解决排名和大型文档分类等任务中输入大小限制和数据不足的问题，并在 ACL-BioNLP 研讨会 MediQA 问答共享任务上取得了 Spearman's Rho 为 0.338 和 Mean Reciprocal Rank 为 0.9622 的最高分数。

    Jul, 2019

  • M2QA：多领域多语言问答

    通过引入多领域多语言问题回答基准 M2QA，并利用其探索经过微调的模型、最新最先进的 LLM 的跨语言跨领域性能，以及研究模块化方法对领域和语言进行适应，我们发现模型类别内在领域 - 语言组合上具有相当大的性能差异，并且在所有模型规模上源语言 - 目标语言 / 领域组合之间存在显著的性能下降。我们证明了 M2QA 并未得到完全解决，需要新的方法来有效地传递语言和领域特定信息。

    Jul, 2024

  • 大规模知识库对话问答的多任务学习

    本论文提出了一种基于多任务学习的框架，通过引入指针设备的语义解析模型和新型类型感知实体检测模型，实现共享监督信号、减轻误差传播影响，并在大规模对话问答数据集上进行实验，将总体 F1 分数从 67％提升到 79％。

    Oct, 2019

  • 自然语言理解的多任务深度神经网络

    本文介绍了一种用于跨多个自然语言理解任务的表示学习的多任务深度神经网络（MT-DNN），其延伸了 Liu 等人（2015）所提出的模型，并包含一个预先训练的双向变形器语言模型（BERT）。MT-DNN 在 10 个 NLU 任务中实现了新的最先进结果，并提高了 GLUE 基准至 82.7％（2.2％的绝对改进），其代表着领先水平。同时，我们还展示了 MT-DNN 所学习到的表征，可以用较少的数据实现领域适应，比预先训练的 BERT 表征更加优秀。

    Jan, 2019

  • 模块化网络：以现有模型语言学习任务分解

    研究提出了一种名为 Text Modular Networks 的通用框架，用于构建可解释性系统，该系统通过将复杂任务分解成已经存在的模型可以解决的较简单的任务来学习解决复杂任务。该框架应用于问答领域，提出了一个名为 ModularQA 的系统，该系统可以将多个子问题组成多跳推理问题，并对模型推理过程提供自然语言解释。与现有的解释系统相比，该系统具有更好的灵活性和鲁棒性，并且生成的解释更易于理解和可信度更高。

    Sep, 2020