Mar, 2024

电视节目的多模态摘要的模块化方法

PDF
TL;DR这篇论文主要研究了如何用模块化方法总结电视节目，涉及人工智能研究中的复杂推理、多模态和长篇叙述等关键领域。作者提出了一种模块化方法，通过不同组件执行特定子任务，可以比端到端方法更灵活地实现。论文还引入了一个新的指标 —— 基于 PREFS（Summary Facts 的精确度与召回率评估）来衡量生成摘要的精确度与召回率，并将其分解为原子事实。在最近发布的 SummScreen3D 数据集上测试，该方法比其他模型生成的摘要具有更高的质量，这是通过 ROUGE 评估和新的基于事实的指标得出的。
发现论文，激发创造
  • 用于长视频文本摘要的分层 3D 适配器

    本文研究利用多模态信息对视频进行文本摘要，并探讨利用适配器模块和分层结构高效地将多模态信息并入预训练的文本摘要器，实验表明该方法相对于记忆密集型和完全微调的文本摘要方法具有更好的性能。

    Oct, 2022

  • 从回顾到故事概述

    通过利用电视剧情节回顾的短视频序列，我们介绍了多模态故事摘要，以将观众带入故事的关键时刻。我们提出了一个名为 PlotSnap 的数据集，其中有两部长达 40 分钟的犯罪惊悚电视剧，拥有丰富的回顾和剧集摘要。我们的方法通过将回顾镜头与剧集中的相应子故事进行匹配，从整个剧集中提取多个情节点，采用 TaleSumm 分层模型处理整个剧集，并创建紧凑的镜头和对话表示，并通过启用局部故事组之间的相互作用，为每个视频镜头和对话发言预测重要性分数。我们展示了对故事摘要的全面评估，包括有前途的跨系列泛化。TaleSumm 模型在经典视频摘要基准测试中也显示出良好的结果。

    May, 2024

  • How2 视频的多模态抽象摘要

    研究了多源建模摘要提取方法在开放领域视频领域的应用。通过构建一个多源的序列 - 序列模型，集成来自视频和音频文字转写的信息，完成了一个流利的文本摘要，并使用 Content F1 评价指标来度量其语义适当性。

    Jun, 2019

  • 长篇电视新闻节目视频的多模态分章

    我们提出了一种自动化分章节的电视新闻节目视频的新方法，通过冻结神经网络和训练的 LSTM 网络，集成了音频和视觉线索来准确生成节目片段边界，并在 500 多个电视新闻节目视频的多样数据集上进行了评估，结果表明这种创新的融合策略达到了最新性能，较高的精度率为 82% 的 IoU。因此，这种方法显著提升了电视新闻节目档案的分析、索引和存储能力，为大规模音视频资源的高效管理和利用铺平了道路。

    Mar, 2024

  • 包含视频的文档的多模式摘要

    本文提出了一种基于文档和相关视频的新型多模态摘要任务，并构建了一个基于 bi-hop attention 和改进的 late fusion 机制的双流摘要模型，旨在同时处理文本和视频摘要。实验结果表明，该模型有利于多模态摘要且优于现有方法，同时构建了一个新的文档和视频数据集作为未来研究的资源。

    Sep, 2020

  • 一种基于主题感知的摘要生成框架，包含不同的模态侧面信息

    本文提出了一个灵活的自动摘要模型，利用统一主题编码器和三元对比学习，将单一或多模侧面信息与文档在相同语义空间内对齐。 在三个常用总结数据集上优于强基准线。

    May, 2023

  • 基于多模态自监督学习的渐进式视频摘要技术

    本文介绍了一种基于深度神经网络的视频摘要方法，该方法使用了多模态自监督学习框架，该框架可以在不需要大规模标注数据的情况下，通过视频与文本之间的语义一致性来获取视频的语义表示，并提出了一种渐进式摘要方法。实验表明，该方法的排名相关系数和 F 分数均优于现有视频摘要方法。

    Jan, 2022

  • 多模式摘要的细粒度和可解释性事实评估

    多模态概括旨在根据文本和图像生成简洁的摘要，但现有方法潜在地存在不实输出。为了评估多模态概括模型的真实性，我们提出了两个细粒度且可解释的评估框架（FALLACIOUS），用于不同的应用场景，即基于参考物的真实性评估框架和基于非参考物的真实性评估框架。值得注意的是，基于非参考物的真实性评估框架不需要基准真实性，因此具有更广泛的应用场景。为了评估提出框架的有效性，我们计算了其与其他度量标准之间的相关性。实验结果显示了我们提出方法的有效性。我们将通过 Github 发布我们的代码和数据集。

    Feb, 2024

  • 面向多模态摘要生成的基于摘要导向视觉建模

    本文提出通过辅助任务来改善多模态主动摘要中的视觉特征质量，包括视觉到摘要任务和掩蔽图像建模任务，从而优化多模态主动摘要模型。实验结果在 44 种语言中验证了该方法的有效性和优越性。

    Dec, 2022

  • 长话短说：针对长视频问答的摘要搜索方法

    探究语言模型在长时间多媒体叙述中的零 - shot 推理能力，提出了一种用于叙述视频问答的框架 Long Story Short，通过首先将视频的叙述进行简化处理，然后寻找与问题相关的视频部分，并运用 CLIPCheck 来增强视觉匹配，实现了在长视频问答中优于最先进有监督模型的表现，突显了零 - shot 问题回答在长视频中的潜力。

    Nov, 2023