EMNLPSep, 2021

低资源抽象摘要的多任务学习探究

PDF
TL;DR研究了在小规模训练语料的情况下，使用多任务学习进行抽象摘要的效果。通过将四项不同任务（抽取式摘要、语言建模、概念检测和释义检测）单独和结合使用，得出训练多任务模型比训练仅用于抽象摘要的模型效果更好的结论。在全面搜索中，发现某些任务（如释义检测）不仅可以与其他任务结合使用，而且可以使用不同的架构和训练语料，始终对抽象摘要有益。
发现论文，激发创造
  • 低资源抽象化摘要元转移学习

    本文提出了一种方法，利用大型预训练模型和多样的现有语料库，解决低资源抽象摘要化问题，在各种写作风格和形式的摘要语料库上实验证明，我们的方法仅使用 0.7％的可训练参数与以前的工作相比，在低资源情况下实现了 6 个语料库的最新技术水平。

    Feb, 2021

  • 分析抽象文本摘要的多任务学习

    本研究分析了多任务学习中任务家族对英文抽象文本摘要任务的影响，并发现某些任务家族对下游性能有积极影响，此外，任务家族选择和组合对下游性能的影响更大，支持在抽象文本摘要中采用任务家族。

    Oct, 2022

  • 有限平行资源下的跨语言抽象摘要

    使用一种多任务框架和共享解码器的方法，跨语言摘要的跨语言资源匮乏问题得以解决，此方法名为 MCLAS。通过 MCLAS，实验表明其可以在有限的跨语言资源下，显著优于三种基准模型。

    May, 2021

  • 低资源口语理解的多任务学习

    本研究探讨了多任务学习在语音处理中的优势，通过使用自动语音识别和意图分类或情感分类的双重目标来训练模型，我们的模型虽然规模适中，但我们的研究表明多任务学习可以在低资源情况下与基线模型竞争，并且在情感分类上表现与端到端模型相当。

    Nov, 2022

  • 使用蕴涵和问题生成的软件层特定多任务摘要

    本研究提出了一种多任务学习的方法，通过附加生成问题和蕴含语句的任务来提高摘要的准确性和逻辑推断能力，并提出了高层语义层次共享的多任务结构和软共享机制，明显提高了文本摘要的表现。

    May, 2018

  • 跨语言抽象摘要的多任务学习

    Transum 是一种多任务学习框架，可以将真实数据及伪造数据结合起来用于神经编码器 - 解码器的训练，达到在汉英和阿拉伯英文摘要、中英、阿拉伯英翻译任务中均获得最佳 ROUGE 分的效果，此外还对机器翻译任务有积极的影响。

    Oct, 2020

  • 使用预训练语言模型在低资源环境下进行长文档摘要

    本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。

    Mar, 2021

  • 面向多模态摘要生成的基于摘要导向视觉建模

    本文提出通过辅助任务来改善多模态主动摘要中的视觉特征质量，包括视觉到摘要任务和掩蔽图像建模任务，从而优化多模态主动摘要模型。实验结果在 44 种语言中验证了该方法的有效性和优越性。

    Dec, 2022

  • 基于课程指导的抽象摘要

    本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

    Feb, 2023

  • AdaptSum: 面向低资源域自适应的摘要生成

    本研究探讨了在低资源环境下，针对六个不同领域的抽象摘要任务中，利用大规模生成模型进行领域自适应预训练的有效性。实验表明，预训练的有效性与预训练数据与目标任务的相似度相关，同时发现预训练会导致预训练模型的灾难性遗忘，但使用一种遗忘较少的学习方法可以缓解这个问题。此外，结果表明低资源和高资源的差距仍然很大，需要更先进的领域自适应方法来解决抽象摘要任务中的问题。

    Mar, 2021