KDDApr, 2023

TCR: 基于注意力细化的短视频标题生成及封面选择

PDF
TL;DR本文介绍了一种名为 Short Video Title Generation (SVTG) 的真实数据集，以及一种应用多模态信息的 Title generation and Cover selection with attention Refinement (TCR) 方法，通过对高质量样本和高相关性帧和文本令牌进行精细化训练，该方法在生成标题和选择封面方面优于现有的各种视频字幕方法，并且可以针对真实短视频选择更好的封面。
short videotitle generationcover selectionmultimodal informationdataset
发现论文，激发创造
  • 用户生成视频的标题生成

    本研究提出了两种方法扩展现有视频的字幕生成模型以生成视频标题，即通过高亮检测器使视频字幕生成模型具有敏感性并同时进行标题生成和视频亮点定位训练，以及通过增强句子多样性，用大量无对应视频的句子训练模型，并在 18100 个用户生成的视频和标题（VTW）数据集和 M-VAD 数据集上验证了本研究的方法，均获得了最佳效果。

    Aug, 2016

  • 视频标题综合信息整合建模框架

    为优化电商中消费者生成视频的推荐，我们提出了一种端到端的建模方式，包括综合使用消费者生成视频的内容、评论句子和商品属性，并基于图神经网络实现多粒度视频分析和故事线总结。

    Jun, 2020

  • 文本条件下的长篇视频理解的重新采样器

    使用文本条件的视频重采样器（TCR）模块和预训练的视觉编码器和大型语言模型（LLM），我们设计了一种基于 Transformer 的采样架构，可以处理长视频序列，并通过交叉注意机制，将相关的视觉特征从视频中提取出来，并通过 LLM 生成文本响应。我们的方法在各种评估任务中表现出很好的效果，并在 NextQA、EgoSchema 和 EGO4D-LTA 挑战赛中创造了最新的最好成绩，我们还发现了需要较长视频上下文的任务，可以有效地用于进一步评估长程视频模型。

    Dec, 2023

  • 使用主题引导生成视频描述

    本文提出了一种基于主题导向模型 (TGM) 的视频描述生成模型，同时采用网络爬取的分类标签和无监督话题挖掘模型中的数据驱动话题挖掘来生成面向主题的视频描述。在当前最大的视频字幕数据集 MSR-VTT 上，我们的模型显著超过了 2016 年 MSR 视频到语言挑战赛的获胜表现。

    Aug, 2017

  • 视频 CSR: 复杂视频摘要生成用于视觉 - 语言模型

    我们提出了一个新的任务和人类标注的数据集，用于评估视觉语言模型对于生成视频剪辑的标题和摘要的能力，该数据集包含了 4800 个 YouTube 视频剪辑，时长在 20-60 秒之间，涵盖了广泛的主题和兴趣，对于视觉和听觉内容都进行了基于摘要的检索任务和基于标题和摘要的生成任务的评估，并提出了一个基础模型作为 Video-CSR 任务的基准，旨在成为大型语言模型和复杂多模态任务时代的有用评估集。

    Oct, 2023

  • 句子指定的动态视频缩略图生成

    本论文提出了一种新型的任务：句子指定的动态视频缩略图生成，使用了基于句子和视频的语义交互和内部视频关系的科技，提出了图卷积视频缩略图指针，可以以时间条件为基础，生成句子指定的视频缩略图。与此同时，他们也提供了一个新的数据集以支持这个新的任务，并证明了他们所提出的方法优于基线方法。

    Aug, 2019

  • 冻结图像编码器的细粒度文本 - 视频检索

    提出了 CrossTVR，一个两阶段的文本视频检索架构。第一阶段利用现有的文本 - 视频检索方法进行候选选择，第二阶段提出了一个新颖的解耦视频文本交叉注意力模块，以捕捉时空维度中细粒度的多模态信息。通过在细粒度检索中采用冻结的 CLIP 模型策略，可以扩展到更大的预训练视觉模型，如 ViT-G，从而提高检索性能。对文本视频检索数据集进行的实验证明了我们提出的 CrossTVR 相较于最先进的方法的有效性和可扩展性。

    Jul, 2023

  • CoVR：从网络视频字幕中学习组合视频检索

    通过自动数据集创建方法，我们提出了一个可扩展的 Composed Image Retrieval（CoIR）任务，使用由视频标题对生成的三元组，扩展任务范围到 Composed Video Retrieval（CoVR）。通过在庞大的数据库中挖掘具有相似标题的配对视频，并利用大型语言模型生成相应的修改文本，我们构建了 WebVid-CoVR 数据集，其中包含 1.6 百万个三元组。实验证明，在我们的数据集上训练 CoVR 模型可以有效迁移到 CoIR，提高了 CIRR 和 FashionIQ 基准测试中的最新性能。

    Aug, 2023

  • 多面向注意力的视频字幕生成

    本文提出了一种新的视频字幕生成方法，利用多种视觉特征和语义属性的层次，采用 LSTM 网络进行句子生成，实现自动选取最突出的视觉特征或语义属性，有望提高字幕生成的精确度。实验结果表明，该框架胜过现有最先进的方法，并可进一步提升精度至近于人类水平。

    Dec, 2016

  • 多模态生成对抗学习优化产品标题

    本文提出了一种多模态生成对抗网络 MM-GAN，用于生成商品的简短标题，可综合利用图像信息、商品的属性标签和原长标题的文本信息，将生成的标题视为一个强化学习过程，在一个类人的视角下由判别器进行评估。

    Nov, 2018