通过口语理解任务提高人际对话摘要的可靠性
本文介绍如何利用 DialoGPT 提供未标注的语料,作为无监督对话注释器,来对两个对话概括数据集 SAMSum 和 AMI 进行标注,使用 DialoGPT 进行标注取得了很显著的成果,并在 SAMSum 数据集上取得了新的最先进水平。
May, 2021
本文探索了对话摘要的三种策略:扩展变压器模型、检索后摘要流水线模型和分层对话编码模型,并在三个长对话数据集(QMSum、MediaSum、SummScreen)上进行了实验。结果表明,检索后摘要流水线模型具有最佳性能,并说明强大的检索模型和基于外部摘要数据集的预训练可以进一步提高摘要质量。
Sep, 2021
本研究针对对话摘要技术所面临的特殊需求,探索处理多个发言者对话识别、否定理解、情景推理和非正式语言理解四大挑战,并使用预先训练的序列到序列语言模型进行实验,通过发言者名称代替、否定范围突出、多任务学习与域内预训练等方法提高摘要表现,超越强基准结果。
Sep, 2021
本文介绍了一个大型的任务导向对话摘要数据集(TODSum),并提出了一种基于对话状态的结构化对话摘要模型来提高生成摘要的忠实度,证明了对话结构引导的有效性,并讨论了TODSum的当前问题和未来的发展方向。
Oct, 2021
该研究探讨了对话摘要长度的影响因素,分析了摘要生成模型输出与人类参考文本的长度差异,并提出了基于长度感知的摘要生成模型,对DialogSum和SAMSum数据集进行实验,取得了显著的性能提升。
Sep, 2022
对话摘要任务涉及在保留最显著信息的同时对长对话进行总结。实际生活中的对话经常会出现自然发生的变化(例如,重复、犹豫),现有的对话摘要模型在此类对话上的性能下降。本研究系统地研究了此类变化对最先进的对话摘要模型的影响,使用公开可用数据集。为了模拟真实生活中的变化,我们引入了两种类型的扰动:以错误和语言变化更改单个话语的话语级扰动,以及添加非信息性交流(例如,重复、问候)的对话级扰动。我们沿着一致性、显著性和忠实度三个鲁棒性的维度进行分析,这些维度捕捉了摘要模型性能的不同方面。我们发现,输入变化会影响精调模型和指导模型,而后者更容易受到影响,特别是在对话级扰动方面。我们还通过人工评估验证了我们的发现。最后,我们研究了使用部分扰动数据对精调模型的鲁棒性是否可以提高,并观察到这种方法对于解决当前模型中的鲁棒性挑战不足,因此需要更彻底的研究来找到更好的解决方案。总体而言,我们的工作强调对话摘要中的鲁棒性挑战,并为未来的研究提供了见解。
Nov, 2023
通过系统性地回顾2019年至2024年间发表的1262篇独特研究论文,本文总结了基于Transformer的英语对话抽象总结的研究,并涵盖了对话总结中的主要挑战和相应的技术,例如基于图的方法、额外的训练任务和计划策略。虽然一些挑战,如语言,已经取得了相当大的进展,但其他一些挑战,如理解、准确性和显著性,仍然困难,具有重要的研究机会。
Jun, 2024