MMAug, 2020

Poet：面向电子商务的产品导向视频字幕生成器

PDF
TL;DR本文提出了一种基于 Poet 的产品导向视频字幕生成框架，该框架首先将视频表示为产品导向的时空图，然后基于视频相关产品的方面，在这些图上进行知识增强的时空推断，以捕获细粒度产品部件特征的动态变化。作者在两个产品导向的视频字幕生成数据集上进行了实验，表明 Poet 在生成质量、产品方面的捕获和词汇多样性方面取得了一致的性能提升，这表明 Poet 的设计能够有效解决产品促销中产品导向视频描述的问题。
e-commerceuser-generated videosproduct promotionpoetvideo captioning
发现论文，激发创造
  • 视频聊天字幕生成器：朝向丰富化的时空描述

    本研究提出了一个新的视频描述方法，即 Video ChatCaptioner，它使用 ChatGPT 模型作为控制器，提出视频内容驱动的问题并回答这些视觉查询，从而生成包含更多视觉细节的视频标题。

    Apr, 2023

  • 视频标题综合信息整合建模框架

    为优化电商中消费者生成视频的推荐，我们提出了一种端到端的建模方式，包括综合使用消费者生成视频的内容、评论句子和商品属性，并基于图神经网络实现多粒度视频分析和故事线总结。

    Jun, 2020

  • 面向主题的视频字幕生成

    通过对用户兴趣的主题进行视频描述一直是一个长期目标。为了解决这个问题，我们提出了一种新的视频字幕任务，即面向主题的视频字幕，允许用户通过边界框指定描述的目标。为了支持这个任务，我们基于两个广泛使用的视频字幕数据集 MSVD 和 MSRVTT 构建了两个面向主题的视频字幕数据集，通过为每个字幕中的每个视频注释主题。这些数据集为未来的技术发展铺平了道路。作为第一个尝试，我们评估了四种最先进的通用视频字幕模型，并观察到了较大的性能下降。然后，我们探索了几种策略使它们能够描述所需的目标。实验结果显示出明显的改进，但在这个领域还有很大的探索空间。

    Dec, 2023

  • VideoPoet: 用于零样本视频生成的大型语言模型

    VideoPoet 是一种语言模型，能够从多种信号条件下合成配有匹配音频的高质量视频。该模型采用解码器式 Transformer 架构处理多模态输入，包括图像、视频、文本和音频，通过两个阶段的预训练和任务特定的适应来训练。我们通过实证结果展示了该模型在零样本视频生成方面具有最先进的能力，特别是其生成高保真度的动作。

    Dec, 2023

  • 超越字幕到叙事：视频多句子字幕

    本研究提出了一种视频片段分割、多帧生成多个盛传、并采用自然语言技术将其连接成故事式视频字幕的方法，实现丰富内容的视频字幕生成，结果表明该方法不需要显式输入视频级别特征即可提供丰富内容，与最新技术方法相同。

    May, 2016

  • 用户生成视频的标题生成

    本研究提出了两种方法扩展现有视频的字幕生成模型以生成视频标题，即通过高亮检测器使视频字幕生成模型具有敏感性并同时进行标题生成和视频亮点定位训练，以及通过增强句子多样性，用大量无对应视频的句子训练模型，并在 18100 个用户生成的视频和标题（VTW）数据集和 M-VAD 数据集上验证了本研究的方法，均获得了最佳效果。

    Aug, 2016

  • 面向基于知识的个性化电商产品描述生成

    在电商平台中，我们通过结合神经网络和知识库提出了一种个性化的商品描述生成模型（KOBE），该模型通过考虑多种重要因素进行文本生成；实验结果证明，KOBE 比现有方法（包括模板和统计方法）表现更好，可实现 BLEU 指标提高 9.7%。该框架已在中国最大的在线电商平台淘宝上部署。

    Mar, 2019

  • 检索 - 复制 - 生成网络实现开放式视频字幕生成

    本研究提出一种新的视频字幕生成方法：Open-book Video Captioning，其中利用 Retrieve-Copy-Generate network，并结合视频语意的句子作提示，从训练语料库检索出相关句子，再结合 copy-mechanism generator 的作用动态生成字幕内容，将传统的基于视频内容的检索方式有效扩展为基于检索句子的方式，并在多个基准测试数据集上进行了广泛实验和测试，得出本方法的实现方式超越了现有的技术水平。

    Mar, 2021

  • 检索增强型零样本视频字幕生成

    该论文提出了一种利用现有的大规模视觉和语言模型进行测试时间适应性直接生成字幕的方法，通过使用多个关键模型来桥接视频和文本，并使用可学习的令牌来传递信息。在实验中，该方法在多个数据集上取得了与现有最先进方法相比的 4％至 20％的 CIDEr 主要评价指标的改进。

    May, 2024

  • 多面向注意力的视频字幕生成

    本文提出了一种新的视频字幕生成方法，利用多种视觉特征和语义属性的层次，采用 LSTM 网络进行句子生成，实现自动选取最突出的视觉特征或语义属性，有望提高字幕生成的精确度。实验结果表明，该框架胜过现有最先进的方法，并可进一步提升精度至近于人类水平。

    Dec, 2016