ACLJun, 2019

How2 视频的多模态抽象摘要

PDF
TL;DR研究了多源建模摘要提取方法在开放领域视频领域的应用。通过构建一个多源的序列 - 序列模型，集成来自视频和音频文字转写的信息，完成了一个流利的文本摘要，并使用 Content F1 评价指标来度量其语义适当性。
abstractive summarizationopen-domain videosmulti-source modelhierarchical attentioncontent f1
发现论文，激发创造
  • 包含视频的文档的多模式摘要

    本文提出了一种基于文档和相关视频的新型多模态摘要任务，并构建了一个基于 bi-hop attention 和改进的 late fusion 机制的双流摘要模型，旨在同时处理文本和视频摘要。实验结果表明，该模型有利于多模态摘要且优于现有方法，同时构建了一个新的文档和视频数据集作为未来研究的资源。

    Sep, 2020

  • 使用 BERT 进行口头和书面指令的抽象摘要

    本研究使用 BERTSum 模型对按主题分类的教学视频进行抽象摘要概括，通过多个英文语境下的数据集预训练模型，使用 ROUGE 和 Content-F1 评分进行结果评估，同时进行人工盲评，结果显示本方法在 WikiHow 数据集中具有较高的效果及概括性能力。

    Aug, 2020

  • VideoXum: 视频的跨模态视觉和文本摘要

    我们提出了一个新的联合视频和文本摘要任务，旨在生成一个缩短的视频剪辑和相应的文本摘要，我们通过构建一个大规模的人类注释数据集 - VideXum 来解决此问题，并使用新的度量标准 VT-CLIPScore 来评估跨模态摘要的语义一致性。我们提出的 VTSUM-BILP 模型在此任务上取得了有希望的性能，并为未来研究建立了基准。

    Mar, 2023

  • 视频摘要中适合总结的视觉表现学习

    提出一种新方法，利用文本和图像数据中摘要值得特征，并采用大规模生成预训练语言模型生成视频的多模态生成式摘要，相比其他基线方法，我们的方法在三个公共数据集上的表现是最好的。

    May, 2023

  • MAST: 多模态抽象摘要生成与三模态分层注意力

    本文提出了 MAST，一种新的多模态抽象文本摘要模型，它利用来自文本、音频和视频三种模态的信息。MAST 通过让模型更多地关注文本模态来解决从音频模态中提取信息的有用性和挑战，并在 How2 数据集上在多模态语言理解方面以 2.51 分的内容 F1 分数和 1.00 分的 Rouge-L 分数优于目前的基于视频和文本的最佳模型。

    Oct, 2020

  • How2：一个大规模的多模态语言理解数据集

    本研究介绍了 How2，它是一个多模态的指导视频集合，包含英文字幕和社群翻译的葡萄牙语。我们还提出了包括机器翻译、自动语音识别、口语翻译和多模态摘要在内的一些序列到序列的基础模型。通过提供多个多模态自然语言任务的数据和代码，我们希望引导更多关于多模态与语言处理的研究，以获得更加深入的了解。

    Nov, 2018

  • 多源特征无监督视频摘要

    本文提出了通过结合多种特征源进行特征融合的视频摘要算法，该算法在两个基准测试数据集 TVSum 和 SumMe 上取得了最新的研究结果，并对以往的研究方法进行了评估，同时进行误差分析以找出导致分类错误的因素。

    May, 2021

  • 使用任务相关性和跨模态显著性总结教学视频

    本文使用伪摘要的方法，提出了一种结合上下文感知时态视频编码器和片段评分转换器的教学视频摘要网络，并将其应用于 WikiHow Summaries 数据集。结果表明，该模型在教学视频摘要方面显著优于各基准和最先进的视频摘要模型。

    Aug, 2022

  • 用于长视频文本摘要的分层 3D 适配器

    本文研究利用多模态信息对视频进行文本摘要，并探讨利用适配器模块和分层结构高效地将多模态信息并入预训练的文本摘要器，实验表明该方法相对于记忆密集型和完全微调的文本摘要方法具有更好的性能。

    Oct, 2022

  • MHMS: 多模态分层多媒体摘要

    本文提出一个交互视觉和语言领域的多模式多媒体总结（MHMS）框架，旨在通过多模式输出为新闻文章自动生成封面图片和标题，或为在线视频提供介绍。本文的 MHMS 方法包含视频和文本细分和摘要模块，分别生成代表性关键帧和文本摘要，并利用最优输运距离制定跨域对齐目标，从而增强了跨域交互并产生高质量的多模式摘要。本文在三个最近发布的多模式数据集上评估了 MHMS 方法的效果。

    Apr, 2022