Jun, 2024

UBiSS：视频的双模态语义摘要的统一框架

PDF
TL;DR视频摘要的技术有越来越多的关注，本文提出了一种名为 Bimodal Semantic Summarization of Videos 的更全面的视频摘要任务，通过构建大规模数据集 BIDS 和提出统一框架 UBiSS 来实现高质量的视频摘要。
video summarizationvisual-modal summarizationtextual-modal summarizationbimodal semantic summarization of videosunified framework
发现论文，激发创造
  • UniMS: 面向多模态摘要的统一框架与知识蒸馏

    提出了一种基于 BART 和 UniMS 的统一多模式摘要框架，该框架集成了抽取和生成目标，以及图像选择，通过视觉语言预训练模型进行知识蒸馏来改进图像选择，并引入视觉引导解码器来更好地整合文本和视觉模态，证明了提出的方法明显改善了多模态摘要任务的新状态 - of-the-art 结果。

    Sep, 2021

  • VideoXum: 视频的跨模态视觉和文本摘要

    我们提出了一个新的联合视频和文本摘要任务，旨在生成一个缩短的视频剪辑和相应的文本摘要，我们通过构建一个大规模的人类注释数据集 - VideXum 来解决此问题，并使用新的度量标准 VT-CLIPScore 来评估跨模态摘要的语义一致性。我们提出的 VTSUM-BILP 模型在此任务上取得了有希望的性能，并为未来研究建立了基准。

    Mar, 2023

  • 包含视频的文档的多模式摘要

    本文提出了一种基于文档和相关视频的新型多模态摘要任务，并构建了一个基于 bi-hop attention 和改进的 late fusion 机制的双流摘要模型，旨在同时处理文本和视频摘要。实验结果表明，该模型有利于多模态摘要且优于现有方法，同时构建了一个新的文档和视频数据集作为未来研究的资源。

    Sep, 2020

  • CISum: 学习跨模态交互以增强多模态概述的语义覆盖范围

    提出多任务交叉模态学习框架（CISum）以通过学习多模态文章中的跨模态交互来改善多模态语义覆盖。将图像转换为视觉描述，与文本内容相关联，进而与文本内容融合以生成文本摘要，选取最相关的图像作为视觉摘要。设计自动多模态语义覆盖评估指标并在实验证明 CISum 的多模态语义覆盖优于基准 ROUGE 和 BLEU 的表现。

    Feb, 2023

  • V2Xum-LLM：跨模态视频摘要与时间提示指导的调节

    视频摘要旨在创建具有简短、准确和连贯特点的长视频摘要。通过引入 Instruct-V2Xum 数据集和 V2Xum-LLM 框架，该研究旨在解决现有视频摘要数据集的不足以及从单模态到多模态视频内容摘要的需求。

    Apr, 2024

  • VMSMO: 为基于视频的新闻文章生成多模态摘要学习

    本文提出了基于视频的多模态摘要任务，探讨视频语义信息和文章相结合的多模态生成机制；基于双重交互机制和条件自注意力机制提出了多模态生成器 DIM, 在真实数据集上取得了最优表现。

    Oct, 2020

  • 基于多模态自监督学习的渐进式视频摘要技术

    本文介绍了一种基于深度神经网络的视频摘要方法，该方法使用了多模态自监督学习框架，该框架可以在不需要大规模标注数据的情况下，通过视频与文本之间的语义一致性来获取视频的语义表示，并提出了一种渐进式摘要方法。实验表明，该方法的排名相关系数和 F 分数均优于现有视频摘要方法。

    Jan, 2022

  • 一种基于主题感知的摘要生成框架，包含不同的模态侧面信息

    本文提出了一个灵活的自动摘要模型，利用统一主题编码器和三元对比学习，将单一或多模侧面信息与文档在相同语义空间内对齐。 在三个常用总结数据集上优于强基准线。

    May, 2023

  • How2 视频的多模态抽象摘要

    研究了多源建模摘要提取方法在开放领域视频领域的应用。通过构建一个多源的序列 - 序列模型，集成来自视频和音频文字转写的信息，完成了一个流利的文本摘要，并使用 Content F1 评价指标来度量其语义适当性。

    Jun, 2019

  • 多句压缩与预算次模最大化的无监督抽象会议摘要

    我们提出了一种新颖的基于图形的框架，用于摘要会议演讲，完全不需要监督和任何注释。我们的工作结合了多种最近的方法的优点，同时解决了它们的弱点。此外，我们利用最近在 NLP 中应用的字嵌入和图形退化的进展，考虑外部语义知识，并设计了自定义的多样性和信息量度量。在 AMI 和 ICSI 语料库上的实验表明，我们的系统改进了现有技术水平。代码和数据可公开获取，我们的系统可以交互式测试。

    May, 2018