Dec, 2022

DIONYSUS：一种用于低资源对话摘要的预训练模型

PDF
TL;DR本研究提出了一种名为 DIONYSUS 的预训练编码器 - 解码器模型，通过自监督学习方法在大型对话语料库上进行预训练，能够在任何新的领域中概括对话。实验表明，与现有方法相比，DIONYSUS 在零样本和少样本情境下的 ROUGE 评分上表现更好。
dialogue summarizationdionysuspre-trainingself-supervised approachrouge scores
发现论文，激发创造
  • 领域无关多源预训练的低资源对话摘要

    本文提出了一种多源预训练范式以更好地利用外部摘要数据，通过有限的训练数据实现对话摘要的有竞争力的性能和不同对话场景中的泛化能力。

    Sep, 2021

  • DialogLM: 面向长对话理解和摘要的预训练模型

    本文提出了一种用于长对话理解和摘要的预训练框架，其中包括以窗口为基础的去噪方法和稀疏注意力机制，并通过实验表明 DialogLM 预训练模型显著优于现有的模型。

    Sep, 2021

  • 使用提取的间隔句子进行摘要式预训练的 PEGASUS

    该研究提出了一种新的自监督目标，将重要的句子从输入文档中删除 / 掩盖，并从剩余的句子中生成一个输出序列，类似于抽取式摘要，PEGASUS 模型在 12 个文本摘要任务中均取得了最先进的 ROUGE 得分，并在只有 1000 个样例的 6 个数据集上超越了先前的最先进结果，同时在人类评估方面也取得了良好表现。

    Dec, 2019

  • SPECTRUM: 面向长对话概述的说话者增强预训练

    在本文中，我们提出了一种用于长对话摘要的说话者增强的预训练方法，该方法利用了多轮对话的内在结构。我们通过收集多样化的数据集，并进行预训练，实验证明我们的模型在具有长上下文的基准测试中取得了最先进的性能，超过了基准模型，并突出了我们方法的有效性。我们的研究结果强调了构建多样化的预训练数据集以确保与下游数据集的有效对应的重要性。

    Jan, 2024

  • 使用伪重述的方式进行后训练对话摘要

    该论文提出了一种基于预训练语言模型转换对话到叙述语言的技术，利用此技术可以显著提高对话摘要的性能，而且具有低的实施成本。

    Apr, 2022

  • 叙事预训练：零样本对话理解

    本文提出了一种新的叙述引导的预训练策略，以学习从对话输入中叙述关键信息的能力，针对当前方法缺失的对话 - 叙述并行语料库，本文利用自动对齐的电影字幕和简介构建了一个这样的语料库，在此基础上，用一个 BART 模型进行预训练，并在四个需要理解的基于对话的任务上评估其性能。实验结果表明，本文所提出的方法不仅在零 - shot 性能上表现出了优越性，而且展示了更强的细粒度的对话理解能力。

    Mar, 2022

  • DialogSum：一个真实场景下的对话摘要数据集

    提出了 DialogSum，一种大规模标注的对话摘要数据集，通过对该数据集使用最先进的神经摘要器进行经验分析，结果表明对话摘要中存在诸如口语术语、特殊话语结构、代词和省略、语用学和社会常识等独特挑战，需要特定的表示学习技术来更好地处理。

    May, 2021

  • 利用自我监督方法增强语义理解，用于抽象对话摘要

    本文介绍一种使用预处理的深度语境化文本编码器 BERT 来改善自然语言任务，包括抽象概括，并提出一种自我监督的方法来弥补对话概括模型的缺陷。在共享的编码器 - 解码器架构上构建和微调抽象对话概括模型，并在最近引入的 SAMSum 语料库中经验性地评估，证明我们的方法在抽象概括中做出了改进。

    Sep, 2022

  • 语言模型作为标注工具：探索使用 DialoGPT 进行对话摘要

    本文介绍如何利用 DialoGPT 提供未标注的语料，作为无监督对话注释器，来对两个对话概括数据集 SAMSum 和 AMI 进行标注，使用 DialoGPT 进行标注取得了很显著的成果，并在 SAMSum 数据集上取得了新的最先进水平。

    May, 2021

  • 基于话语关系重构的零样本抽象式对话摘要

    提出一种使用话语关系进行无监督抽象化对话摘要生成的方法，并验证其在 AMI 和 ICSI 会议语料库上的有效性，ROGUE score 提升了 3 个点以上，甚至与现有的最先进方法竞争。

    Feb, 2019