CVPRMar, 2023

双重对比损失的多模态摘要生成：Align and Attend

PDF
TL;DR介绍了一种基于 transformer 的模型：Align and Attend Multimodal Summarization (A2Summ)，可以处理不同模态的输入。作者提出了两种新的对比损失函数来建模不同样本间的相互关系和内部关系。在常用的四个数据集上，A2Summ 的性能均优于之前的方法。此外，作者还公开了一个数据集：BLiSS，包含直播视频和带有注释的摘要。
multimodal summarizationcross-modal informationtemporal correspondencetransformer-based modelcontrastive losses
发现论文，激发创造
  • How2 视频的多模态抽象摘要

    研究了多源建模摘要提取方法在开放领域视频领域的应用。通过构建一个多源的序列 - 序列模型，集成来自视频和音频文字转写的信息，完成了一个流利的文本摘要，并使用 Content F1 评价指标来度量其语义适当性。

    Jun, 2019

  • 包含视频的文档的多模式摘要

    本文提出了一种基于文档和相关视频的新型多模态摘要任务，并构建了一个基于 bi-hop attention 和改进的 late fusion 机制的双流摘要模型，旨在同时处理文本和视频摘要。实验结果表明，该模型有利于多模态摘要且优于现有方法，同时构建了一个新的文档和视频数据集作为未来研究的资源。

    Sep, 2020

  • 多模态不对齐语言序列的多模态转换器

    该研究介绍了一种称为 MulT 的多模态转换器，利用方向性一对一跨模态注意力在不显式对齐数据的情况下，通用地解决了模型多模态人类语言时序数据中的两个主要挑战，即内在数据非对准性和跨模态元素之间的长程依赖关系。

    Jun, 2019

  • CISum: 学习跨模态交互以增强多模态概述的语义覆盖范围

    提出多任务交叉模态学习框架（CISum）以通过学习多模态文章中的跨模态交互来改善多模态语义覆盖。将图像转换为视觉描述，与文本内容相关联，进而与文本内容融合以生成文本摘要，选取最相关的图像作为视觉摘要。设计自动多模态语义覆盖评估指标并在实验证明 CISum 的多模态语义覆盖优于基准 ROUGE 和 BLEU 的表现。

    Feb, 2023

  • 查询两次：双重混合关注元学习用于视频摘要

    本文提出了一种新的框架，即 Dual Mixture Attention (DMASum) 模型，其中 Mixture of Attention layer (MoA) 通过两次自己 - 查询注意实现，可以捕获二阶变化以及初始查询 - 键注意，进而有效增加视频摘要中的模型能力，在引入新的单帧元学习规则后更广泛地实现小数据集的泛化，并且 DMASum 通过累积方式连接本地关键帧和全局关注，显著提高了 SumMe 和 TVSum 这两个公共数据集的定性和定量实验结果，解决了 softmax 瓶颈问题。

    Aug, 2020

  • AttSum: 神经注意力机制的聚焦和摘要联合学习

    AttSum 是一种新的自动学习分布式表示和应用注意力机制的查询聚焦式文本摘要系统，并在标准基准数据集上取得了较好的性能。

    Apr, 2016

  • VideoXum: 视频的跨模态视觉和文本摘要

    我们提出了一个新的联合视频和文本摘要任务，旨在生成一个缩短的视频剪辑和相应的文本摘要，我们通过构建一个大规模的人类注释数据集 - VideXum 来解决此问题，并使用新的度量标准 VT-CLIPScore 来评估跨模态摘要的语义一致性。我们提出的 VTSUM-BILP 模型在此任务上取得了有希望的性能，并为未来研究建立了基准。

    Mar, 2023

  • 查询驱动的抽象总结的多样性注意力模型

    该研究提出了一种基于编码 - 注意 - 解码范式的查询式摘要模型，具有查询注意模型和多样性基于注意模型。实验表明，该模型相对于基础模型具有 28% 的 ROUGE-L 分数的增益。

    Apr, 2017

  • MAST: 多模态抽象摘要生成与三模态分层注意力

    本文提出了 MAST，一种新的多模态抽象文本摘要模型，它利用来自文本、音频和视频三种模态的信息。MAST 通过让模型更多地关注文本模态来解决从音频模态中提取信息的有用性和挑战，并在 How2 数据集上在多模态语言理解方面以 2.51 分的内容 F1 分数和 1.00 分的 Rouge-L 分数优于目前的基于视频和文本的最佳模型。

    Oct, 2020

  • 一种基于主题感知的摘要生成框架，包含不同的模态侧面信息

    本文提出了一个灵活的自动摘要模型，利用统一主题编码器和三元对比学习，将单一或多模侧面信息与文档在相同语义空间内对齐。 在三个常用总结数据集上优于强基准线。

    May, 2023