Jun, 2023

MultiSum：用于视频的多模式摘要和缩略图生成的数据集

PDF
TL;DR通过创建包含视频和文本内容的人工验证摘要、17 个主分类和 170 个子分类的全面的数据集 MultiSum dataset，本文针对现有公共 MSMO 数据集的限制进行研究，进行了基准测试，并推出了数据收集工具和开放源代码资源以促进透明度和加速未来发展。
发现论文，激发创造
  • 大规模多语言多模态摘要数据集

    该研究介绍了目前最大的多语言多模态摘要数据集 (M3LS)，该数据集由超过一百万个来自 BBC 的新闻文章组成，跨越 20 种语言，目标在于 5 个语言根上的多样性。研究者们利用该数据集定义了一项多语言多模态摘要任务，并在多语言环境下使用各种最先进的摘要技术报告了基准分数。

    Feb, 2023

  • 多模态摘要综述

    本文综述了多模式自动摘要 (MMS) 领域内的现有研究，包括文本、图像、音频和视频等各种模式。除了强调用于 MMS 任务的不同评估指标和数据集之外，我们的工作还讨论了该领域中当前的挑战和未来方向。

    Sep, 2021

  • MediaSum：面向对话摘要的大规模媒体采访数据集

    介绍了一个名叫 MediaSum 的大规模媒体采访数据集，包含 463.6K 份采访文本和摘要，被用于探究电视和广播采访文本的独特位置偏差以及转移学习在改进对话摘要模型上的应用。

    Mar, 2021

  • HowSumm：基于 WikiHow 文章的多文档自动摘要数据集

    本篇文章提出了 HowSumm 这一全新的数据集，可用于针对查询的多文档摘要 (qMDS) 任务，其目标是从一组来源生成可操作的指令。通过从 wikiHow 网站文章和它们引用的来源中提取数据创建了该数据集，并讨论了与其他摘要语料库的不同之处，实验结果表明，提取式和抽象式摘要模型在该数据集上的性能仍有提升空间。

    Oct, 2021

  • MLSUM: 多语言摘要语料库

    我们提出了 MLSUM，这是第一个大规模的多语言摘要数据集，包括五种不同语言的 150 万篇文章 / 摘要对，与来自 CNN / Daily mail 数据集的英文报纸一起，构成一个大规模的多语言数据集，可以为文本摘要社区提供新的研究方向。我们基于最先进的系统进行交叉语言比较分析，发现了现有偏见，这促使我们使用多语言数据集。

    Apr, 2020

  • TLDW: 新闻视频的极端多模态摘要

    介绍了一种新的极端多模式汇总方法（XMSMO），主要采用 HOT-Net 框架实现多模态输入到多模态输出的文本、图像总结，以解决信息过载问题。

    Oct, 2022

  • 包含视频的文档的多模式摘要

    本文提出了一种基于文档和相关视频的新型多模态摘要任务，并构建了一个基于 bi-hop attention 和改进的 late fusion 机制的双流摘要模型，旨在同时处理文本和视频摘要。实验结果表明，该模型有利于多模态摘要且优于现有方法，同时构建了一个新的文档和视频数据集作为未来研究的资源。

    Sep, 2020

  • VMSMO: 为基于视频的新闻文章生成多模态摘要学习

    本文提出了基于视频的多模态摘要任务，探讨视频语义信息和文章相结合的多模态生成机制；基于双重交互机制和条件自注意力机制提出了多模态生成器 DIM, 在真实数据集上取得了最优表现。

    Oct, 2020

  • Multi-News：一个大规模的多文档摘要数据集和抽象分层模型

    本文介绍了首个大规模多文档新闻数据集 Multi-News，并提出一个将传统提取式摘要模型与标准单文档摘要模型结合的端到端模型，取得了有竞争力的结果。我们在 Multi-News 上比较了几种方法，并希望我们的数据和代码能促进多文档摘要领域的进展。

    Jun, 2019

  • 基于多模态自监督学习的渐进式视频摘要技术

    本文介绍了一种基于深度神经网络的视频摘要方法，该方法使用了多模态自监督学习框架，该框架可以在不需要大规模标注数据的情况下，通过视频与文本之间的语义一致性来获取视频的语义表示，并提出了一种渐进式摘要方法。实验表明，该方法的排名相关系数和 F 分数均优于现有视频摘要方法。

    Jan, 2022