Jul, 2023

BASS: 语音摘要的分块调整

PDF
TL;DR本文提出一种基于块模型的方法，允许在增量方式下在非常长的音频序列上训练语音摘要模型，并能够通过数据流处理更新模型。实验表明，所提出的块模型训练方法相对于截断输入基线，可以在 ROUGE-L 指标上提高 3 个百分点。
speech summarizationblock-wise modelinglong sequencesstreaming processrouge-l
发现论文，激发创造
  • 使用大型语言模型的端到端语音摘要

    提出了一种利用 Q-Former 作为音频 - 文本模态连接器、采用大型语言模型从语音特征直接生成文本摘要的端到端 SSum 模型，并采用多阶段训练方法来提高模型处理长篇语音的能力，最终在 How-2 数据集上取得了具有竞争力的性能。

    Jul, 2024

  • BASS: 统一语义图增强抽象摘要

    本文提出了基于语义图的 BASS 框架，它聚合了分布在长时间范围内的共指短语，并传达了短语之间的丰富关系，从而提高了文档表示和摘要生成过程，为长文档和多文档摘要任务带来了显著的改进。

    May, 2021

  • 大规模语言模型在视频摘要预训练中的扩展

    利用大型语言模型生成大规模的视频摘要数据集，提出了一种新的视频摘要模型，并呈现了一个由专业人员注释的高质量摘要的基准数据集，实验证明该方法在多个基准测试中达到了最新的最佳效果。

    Apr, 2024

  • 预训练语言模型迁移学习改进端到端语音摘要

    本文提出在端对端语音摘要（E2E SSum）模型中集成预训练语言模型来解决数据稀缺问题，并通过迁移学习来减少编解码器之间的差距。实验证明，该模型表现优于基线和数据增强模型。

    Jun, 2023

  • 用于长视频文本摘要的分层 3D 适配器

    本文研究利用多模态信息对视频进行文本摘要，并探讨利用适配器模块和分层结构高效地将多模态信息并入预训练的文本摘要器，实验表明该方法相对于记忆密集型和完全微调的文本摘要方法具有更好的性能。

    Oct, 2022

  • 局部关注和内容选择实现的长篇摘要

    本研究提出使用 local self-attention 和 explicit content selection 两种方法来应对长篇文档摘要中的长跨度依赖，并利用大型预训练变压器模型在 Spotify Podcast、arXiv 和 PubMed 等标准数据集上进行实验，证明两种方法的组合可以在 3 个任务中实现 ROUGE 得分的最优结果。此外，与现有算法相比，在没有大规模 GPU 计算机卡的情况下，本研究的方法也可以实现相当或更好的结果。

    May, 2021

  • 长对话摘要的探索研究：何有效、何下一步

    本文探索了对话摘要的三种策略：扩展变压器模型、检索后摘要流水线模型和分层对话编码模型，并在三个长对话数据集（QMSum、MediaSum、SummScreen）上进行了实验。结果表明，检索后摘要流水线模型具有最佳性能，并说明强大的检索模型和基于外部摘要数据集的预训练可以进一步提高摘要质量。

    Sep, 2021

  • 会议摘要的动态滑动窗口

    本研究发现会议摘要的句子与会议议程有关，基于此提出了一种动态滑动窗口策略来解决长会议记录的自动文本摘要问题。实验结果表明，相较于传统模型，该方法获得了更高的文本一致性。

    Aug, 2021

  • SPECTRUM: 面向长对话概述的说话者增强预训练

    在本文中，我们提出了一种用于长对话摘要的说话者增强的预训练方法，该方法利用了多轮对话的内在结构。我们通过收集多样化的数据集，并进行预训练，实验证明我们的模型在具有长上下文的基准测试中取得了最先进的性能，超过了基准模型，并突出了我们方法的有效性。我们的研究结果强调了构建多样化的预训练数据集以确保与下游数据集的有效对应的重要性。

    Jan, 2024

  • 利用大型文本语料库进行端到端语音摘要

    本文介绍了两种新颖的方法，利用大量外部文本摘要数据为 E2E SSum 训练提供支持，分别是使用 TTS 系统生成合成语音进行训练，以及使用输入音素序列而非合成语音直接训练模型。实验证明，这些方法在 How2 数据集上改进了多个指标，并且是第一篇使用外部语言资源进行 E2E SSum 的工作。

    Mar, 2023