Aug, 2024

语音与文本记录：对人类标注者在语音摘要中的重要性

HTML
PDF
TL;DR本研究解决了人类标注者在进行语音摘要时，听录音与阅读文本记录之间的差异问题。研究发现，基于语音的摘要在事实一致性和信息选择性上优于基于文本的摘要，而后者则容易受到识别错误的影响。这一发现为促进更高质量的语音摘要提供了重要的见解，同时揭示了专家撰写的摘要在信息性和可靠性方面的优势。
发现论文，激发创造
  • 主题摘要中的细粒度事实注释及建模

    研究表明，目前预训练的抽象摘要系统在性能上已经取得了可信的表现，但其输出的摘要常常与输入不符合并存在事实错误。作者探讨了综合和人工标注数据，用于训练模型来识别摘要中的事实错误，并研究了单词、依赖和句子级别的事实性。通过对多个数据集的实验观察，作者认为人工标注的细粒度数据提供了更有效的训练信号，并证明了他们的最佳事实性检测模型能够识别训练数据中的非事实标记，从而使得训练更为准确的抽象摘要模型成为可能。

    Apr, 2021

  • CONFIT：基于语言学对比微调的忠实对话摘要

    通过 ConFiT 训练方法及一系列的模块化目标来改善抽象型对话摘要的事实准确性，最终生成的摘要数据质量得到了显著提高。

    Dec, 2021

  • 面向播客文稿的抽象化文本摘要

    研究了基于抽象总结的方法，结合特定的语音片段进行全面的抽象总结，以解决口语转录中的表述问题，最终在大型播客数据集上证明了该方法的有效性。

    Mar, 2022

  • ESSumm: 从未转录会议中提取式演讲摘要

    本文提出了一种新颖的直接抽取式语音摘要架构 ESSumm，它是一种基于深度学习的无线束模型，可以直接从语音中生成摘要，极大地提高了从未转录的数据的摘要质量。

    Sep, 2022

  • 重新审视黄金标准：用稳健的人类评估来立足摘要评估

    本文探讨了现有自动摘要的人工评估协议和基准的不足，提出了基于精细语义单元的修改版自动摘要重要性协议（ACU）和大型人工评估数据集（RoSE），并与其他人工评估协议进行了比较，证明了新的基准标注有助于更为稳定和显著的自动度量结果，可用于调整大型语言模型。

    Dec, 2022

  • 通过控制无关句的混淆效应来提高抽象摘要的忠实度

    本文研究了文本自动摘要中的事实正确性问题，提出了减少混淆因素的多任务模型，并且实现了在AnswerSumm数据集上准确性和信实度均有提升。

    Dec, 2022

  • GUMSum：英文抽象摘要的多语种数据和评估

    本文提出了 GUMSum 数据集，旨在评估抽象概括的英语摘要。该数据集高度约束，注重替换潜力、事实和忠实度，结果显示 GPT3 达到了令人印象深刻的得分，但仍然表现不如人类，并且不同类型的错误揭示了生成好概括的挑战。

    Jun, 2023

  • AugSumm：利用大型语言模型生成的合成标签进行通用语音摘要

    通过使用大型语言模型（LLM）作为人工标注者的代理，本研究提出了一种名为AugSumm的方法来生成用于训练和评估的增广摘要，通过在ChatGPT上生成的合成摘要验证其质量，并在训练和评估中利用这些合成摘要，实验证明在合成摘要上进行预训练并在GT摘要上进行微调可以改善ROUGE-L指标。

    Jan, 2024

  • 探索会议总结的自动评价指标

    会议总结的关键任务是识别和提取关键字，但现有评估指标无法准确捕捉会议特定错误，本文通过对人工评估和自动评估的相关性研究，揭示自动指标无法捕捉可观测错误且掩盖了某些错误，同时发现不同模型架构对会议文件中的挑战有不同的响应，存在明显的挑战与错误之间的联系。

    Apr, 2024

  • 通过口语理解任务提高人际对话摘要的可靠性

    本研究解决了人际对话摘要过程中准确性和信度不足的问题。通过引入任务相关的语义信息，提出了一种新的评估标准，并提供了增强标注数据的新数据集版本，从而提高了摘要质量。研究表明，整合任务相关信息的模型能够显著提高摘要的准确性，带来积极影响。

    Sep, 2024