ACLJan, 2023

SWING: 对话摘要的覆盖率和准确性的平衡

PDF
TL;DR研究利用自然语言推理（NLI）模型来提高对话摘要的覆盖率和忠实度，通过计算细粒度训练信号，产生内容在参考摘要中未被涵盖，并且区分生成的句子是与事实一致或不一致的，通过 DialogSum 和 SAMSum 数据集的实验证实该方法的有效性，并通过自动度量和人类评估进行验证，另外，评估三个不同维度的对话摘要，计算常用自动度量与人类判断之间的相关性，以提供有关最适合评估对话摘要的度量标准的见解。
发现论文，激发创造
  • CONFIT：基于语言学对比微调的忠实对话摘要

    通过 ConFiT 训练方法及一系列的模块化目标来改善抽象型对话摘要的事实准确性，最终生成的摘要数据质量得到了显著提高。

    Dec, 2021

  • 基于精细化自然语言推理的多样化摘要任务忠实性评估

    我们提出了一种新的方法 InFusE，通过使用可变的前提大小并将摘要句子简化为更短的假设，分析了基于自然语言推理的摘要可信度评估。通过实验证明，在不同的摘要任务中，InFusE 取得了卓越的性能。

    Feb, 2024

  • 对话摘要中忠实度的分析和评估

    本文提出了一种系统评估对话摘要的方法，并通过人工分析发现现有模型中有超过 35% 生成的摘要与原始对话不符，其评估工具与样本数据可用于未来的研究。

    Oct, 2022

  • SummaC: 重新审视基于自然语言推理的模型在自动摘要中的不一致性检测

    本文介绍了一种名为 SummaCConv 的高效轻量级方法，它将文档划分为句子单位并在句子对之间聚合分数，以使自然语言推理（NLI）模型能够成功应用于不一致性检测。在新的基准数据集 SummaC（Summary Consistency）上，SummaCConv 以 74.4％的平衡准确性获得了最先进的结果，比以前的工作提高了 5 个百分点。

    Nov, 2021

  • ED-FAITH: 评估对话摘要的忠实度

    本文提出系统研究 faithfulness metrics 在对话摘要任务上的应用，发现对于绝大部分度量方法而言，在对话数据上的表现与人类判断的相关性较差。为了提高 faithfulness metrics 在对话摘要任务上的性能，我们还采用了 fine-tuning on in-domain dataset 和 unlikelihood training on negative samples 等技术。最后提出 T0-Score 度量方法，其在多个领域上均能稳定提高评价性能。

    Nov, 2022

  • 基于大型语言模型的事实对话摘要

    通过使用符号知识蒸馏方法改善小型预训练模型的事实一致性，我们在对话摘要中取得了更好的事实一致性，同时保持了连贯性、流畅性和相关性。

    Jun, 2024

  • 通过生成文档级别 NLI 实例识别摘要中的事实不一致性

    本文研究了神经抽象摘要模型在生成的摘要与其原文存在事实上的不一致可能性，提出使用 NLI 模型进行辨别以及如何借助数据生成来提升辨别效果，最终使用 Falsesum 数据集完成了四个基准测试并有所提升。

    May, 2022

  • 关于从自然语言反馈中提高摘要的事实一致性

    本文中，我们对自然语言生成功能的输出质量提出问题，通过收集人类演示和信息反馈数据集 DeFacto，我们进行了两项自然语言生成任务的研究，旨在通过实现信息反馈来提高自然语言生成模型的质量，改善与用户需求的匹配度。

    Dec, 2022

  • 对话自然语言推理

    这篇论文将对话代理的一致性作为自然语言推理 (NLI) 的任务，并创建了一个名为 Dialogue NLI 的自然语言推理数据集。通过在该数据集上训练模型，提出了一种方法来改善对话模型的一致性，用人类评估和自动指标在一套设计用来衡量对话模型一致性的评估集上进行了评估。

    Nov, 2018

  • 略施推力，NLI 模型可鲁棒高效地预测忠实度

    本文提出了一种利用数据增强和鲁棒推理过程将单纯的 NLI 模型用于预测语言模型忠实度的方法，应用于 TRUE 基准来说效果显著且计算代价较小。

    May, 2023