Jan, 2024

SPECTRUM: 面向长对话概述的说话者增强预训练

PDF
TL;DR在本文中，我们提出了一种用于长对话摘要的说话者增强的预训练方法，该方法利用了多轮对话的内在结构。我们通过收集多样化的数据集，并进行预训练，实验证明我们的模型在具有长上下文的基准测试中取得了最先进的性能，超过了基准模型，并突出了我们方法的有效性。我们的研究结果强调了构建多样化的预训练数据集以确保与下游数据集的有效对应的重要性。
发现论文，激发创造
  • DialogLM: 面向长对话理解和摘要的预训练模型

    本文提出了一种用于长对话理解和摘要的预训练框架，其中包括以窗口为基础的去噪方法和稀疏注意力机制，并通过实验表明 DialogLM 预训练模型显著优于现有的模型。

    Sep, 2021

  • 长对话摘要的探索研究：何有效、何下一步

    本文探索了对话摘要的三种策略：扩展变压器模型、检索后摘要流水线模型和分层对话编码模型，并在三个长对话数据集（QMSum、MediaSum、SummScreen）上进行了实验。结果表明，检索后摘要流水线模型具有最佳性能，并说明强大的检索模型和基于外部摘要数据集的预训练可以进一步提高摘要质量。

    Sep, 2021

  • 使用伪重述的方式进行后训练对话摘要

    该论文提出了一种基于预训练语言模型转换对话到叙述语言的技术，利用此技术可以显著提高对话摘要的性能，而且具有低的实施成本。

    Apr, 2022

  • 增强型说话者感知多方多轮对话理解

    本文提出了基于掩码注意力和异构图网络的增强型说话人感知模型，以全面捕捉对话线索，实验结果展示了我们说话人感知模型在基准数据集 Molweni 上取得了最先进的表现，案例分析表明我们的模型增强了话语与说话人之间的联系，并捕捉到了说话人感知的对话关系，对话建模至关重要。

    Sep, 2021

  • 口语对话理解的语音 - 文本对话预训练与显式跨模态对齐

    本文提出了第一种语音 - 文本对话预训练模型 SPECTRA，在输入上进行了一些优化，如引入时间信息，增加上下文理解能力，并通过实验进行了充分验证，展示了 SPECTRA 模型在语音 - 文本对话中学习言语 - 文本对齐和多轮对话上下文的能力比其他模型更强。

    May, 2023

  • 对话理解的结构预训练

    本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

    May, 2021

  • ChatGPT 增强的多阶段预训练用于多场景多领域对话摘要

    我们提出了一种特定于多场景多领域对话摘要的新型预训练模型，它采用多阶段预训练策略来缩小预训练目标和微调目标之间的差距。实验结果表明，我们的预训练模型在完全微调、零样本和少样本设置下，显著优于先前的最先进模型。

    Oct, 2023

  • 对话摘要的一袋技巧

    本研究针对对话摘要技术所面临的特殊需求，探索处理多个发言者对话识别、否定理解、情景推理和非正式语言理解四大挑战，并使用预先训练的序列到序列语言模型进行实验，通过发言者名称代替、否定范围突出、多任务学习与域内预训练等方法提高摘要表现，超越强基准结果。

    Sep, 2021

  • 长对话摘要：一项分析

    对于不同的领域来说，长对话摘要的一种模型无法很好地执行各种任务，因此本研究探讨了当前领域内长对话摘要的最新方法和评估指标。

    Feb, 2024

  • 遮蔽编排：多任务预训练用于多角色对话表示学习

    该研究基于各类无监督预训练任务探究对话上下文表示的学习，并通过精细调整的预训练机制，有效整合了外部知识，能够大幅提高对话提取 / 摘要等下游任务的效果。

    Feb, 2020