AAAISep, 2021

UniMS: 面向多模态摘要的统一框架与知识蒸馏

PDF
TL;DR提出了一种基于 BART 和 UniMS 的统一多模式摘要框架，该框架集成了抽取和生成目标，以及图像选择，通过视觉语言预训练模型进行知识蒸馏来改进图像选择，并引入视觉引导解码器来更好地整合文本和视觉模态，证明了提出的方法明显改善了多模态摘要任务的新状态 - of-the-art 结果。
multimodal summarizationunified frameworkextractive summarizationabstractive summarizationimage selection
发现论文，激发创造
  • UBiSS：视频的双模态语义摘要的统一框架

    视频摘要的技术有越来越多的关注，本文提出了一种名为 Bimodal Semantic Summarization of Videos 的更全面的视频摘要任务，通过构建大规模数据集 BIDS 和提出统一框架 UBiSS 来实现高质量的视频摘要。

    Jun, 2024

  • D$^2$TV: 双重知识蒸馏和目标导向视觉建模，用于多对多多模态摘要

    本文提出一个多对多多模态摘要（M$^3$S）任务，该任务旨在以任何语言为输入，生成任何语言摘要，并包括相应的图像序列，进一步提出了一种双重知识蒸馏和面向目标视觉建模的框架，以在 M$^3$S 任务中实现目标导向的视觉特征。最后还贡献了一个 M$^3$Sum 数据集。

    May, 2023

  • MHMS: 多模态分层多媒体摘要

    本文提出一个交互视觉和语言领域的多模式多媒体总结（MHMS）框架，旨在通过多模式输出为新闻文章自动生成封面图片和标题，或为在线视频提供介绍。本文的 MHMS 方法包含视频和文本细分和摘要模块，分别生成代表性关键帧和文本摘要，并利用最优输运距离制定跨域对齐目标，从而增强了跨域交互并产生高质量的多模式摘要。本文在三个最近发布的多模式数据集上评估了 MHMS 方法的效果。

    Apr, 2022

  • 利用信息提取和压缩进行大规模多文档摘要

    开发了一种基于抽象的总结框架，适用于多个异构文档，该框架独立于标记数据。 与现有的多文件总结方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。 最后，我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体，其中每个文档组都包含大量且多样化的文档，以评估我们的模型与其他基线系统的性能。 我们的实验表明，我们的框架在这种更通用的情况下胜过了现有的最先进方法。

    May, 2022

  • 面向多模态摘要生成的基于摘要导向视觉建模

    本文提出通过辅助任务来改善多模态主动摘要中的视觉特征质量，包括视觉到摘要任务和掩蔽图像建模任务，从而优化多模态主动摘要模型。实验结果在 44 种语言中验证了该方法的有效性和优越性。

    Dec, 2022

  • 包含视频的文档的多模式摘要

    本文提出了一种基于文档和相关视频的新型多模态摘要任务，并构建了一个基于 bi-hop attention 和改进的 late fusion 机制的双流摘要模型，旨在同时处理文本和视频摘要。实验结果表明，该模型有利于多模态摘要且优于现有方法，同时构建了一个新的文档和视频数据集作为未来研究的资源。

    Sep, 2020

  • CISum: 学习跨模态交互以增强多模态概述的语义覆盖范围

    提出多任务交叉模态学习框架（CISum）以通过学习多模态文章中的跨模态交互来改善多模态语义覆盖。将图像转换为视觉描述，与文本内容相关联，进而与文本内容融合以生成文本摘要，选取最相关的图像作为视觉摘要。设计自动多模态语义覆盖评估指标并在实验证明 CISum 的多模态语义覆盖优于基准 ROUGE 和 BLEU 的表现。

    Feb, 2023

  • UNIMO：通过跨模态对比学习实现统一模态理解和生成

    本文介绍了一种名为 UNIMO 的统一单模态预训练架构，它可以有效地适应单模态和多模态理解和生成任务，利用大规模自由文本语料库和图像集合来提高视觉和文本理解的能力，并使用跨模态对比学习来将文本和视觉信息对齐到图像 - 文本对的统一语义空间。实验结果表明，UNIMO 显著改善了几个单模态和多模态下游任务的性能。

    Dec, 2020

  • 一种基于主题感知的摘要生成框架，包含不同的模态侧面信息

    本文提出了一个灵活的自动摘要模型，利用统一主题编码器和三元对比学习，将单一或多模侧面信息与文档在相同语义空间内对齐。 在三个常用总结数据集上优于强基准线。

    May, 2023

  • UniIR: 训练和基准测试通用多模态信息检索器

    对于信息检索 (IR) 模型通常假设为同质化格式，限制了其适用于各种用户需求，如使用文本描述搜索图片，使用标题图搜索新闻文章或使用查询图搜索相似照片。为了满足这种不同的信息需求，我们引入了 UniIR，一种统一的指令引导多模态检索器，可以处理八个不同的跨模态检索任务。UniIR 是一个单一的检索系统，同时在十个不同的多模态 - IR 数据集上进行训练，解释用户指令来执行各种检索任务，展示了对现有数据集的鲁棒性能以及对新任务的零 - shot 泛化能力。我们的实验突出了多任务训练和指令调整是 UniIR 泛化能力的关键。此外，我们构建了 M-BEIR，一个综合结果的多模态检索基准，用于标准化通用多模态信息检索的评估。

    Nov, 2023