CVPRApr, 2024

自动化电影预告片生成

PDF
TL;DR我们提出了一种自动预告片生成框架，该框架通过自动化镜头选择和组合从完整电影中生成可信的预告片。我们的方法受到机器翻译技术的启发，将电影和预告片建模为镜头序列，从而将预告片生成问题形式化为序列到序列的任务。我们引入了 Trailer Generation Transformer（TGT），这是一个利用编码器 - 解码器架构的深度学习框架。TGT 电影编码器通过自注意力上下文化每个电影镜头表示，而自回归预告片解码器预测下一个预告片镜头的特征表示，考虑镜头在预告片中的时间顺序的相关性。我们的 TGT 在全面的度量套件上明显优于先前的方法。
movie trailersautomatic trailer generationshot selectioncompositiontrailer generation transformer
发现论文，激发创造
  • 在线教育课程预告生成的基于 AI 方法

    本文提出了一种基于人工智能的方法，用于为在线教育课程生成课程概述视频，从而为学习者提供信息，启发学习兴趣和增加学习的选择性。该方法采用机器学习和自然语言处理技术，根据模板生成视频，并通过添加语音、字幕、动画等元素来提高交互体验。通过 63 名人员对生成视频的评价表明该方法是有效的。

    Jan, 2023

  • MovieFactory: 利用大型语言和图像生成模型从文本自动生成电影

    本篇论文介绍了 MovieFactory 框架，用于根据自然语言需求生成影视作品，其中自动化电影生成模型、自然语言处理方法、文本到图像模型、音频检索等方法都有所涉及。

    Jun, 2023

  • 学习完整电影中的预告片片段

    本研究中，我们提出了一种利用预发布的电影预告片作为弱监督来检测电影关键时刻的模型。我们引入了一种新颖的排名网络，利用电影和预告片之间的共同关注作为指导，生成高度相关的训练数据对，并提出了一种对特征表示进行增强的对比关注模块，使关键和非关键时刻之间的对比最大化。我们构建了第一个电影 - 预告片数据集，并证明了所提出的方法的性能优越性。

    Aug, 2020

  • 潜在视频变换器

    本文提出了一种使用潜在空间进行视频生成的方法，采用自回归技术预测未来帧的潜在表示，经实验证明其相较于以前的方法在减少计算资源需求的同时，生成质量也得到了保证。

    Jun, 2020

  • 利用检索辅助视频生成技术的动画故事讲述

    提出了一种使用现有短视频合成视觉讲述视频的技术，该技术基于查询文本描述运动结构，在结构引导和外观指导下生成基于情节的视频，并通过概念个性化方法保证视频的视觉一致性。

    Jul, 2023

  • 使用主题引导生成视频描述

    本文提出了一种基于主题导向模型 (TGM) 的视频描述生成模型，同时采用网络爬取的分类标签和无监督话题挖掘模型中的数据驱动话题挖掘来生成面向主题的视频描述。在当前最大的视频字幕数据集 MSR-VTT 上，我们的模型显著超过了 2016 年 MSR 视频到语言挑战赛的获胜表现。

    Aug, 2017

  • 用户生成视频的标题生成

    本研究提出了两种方法扩展现有视频的字幕生成模型以生成视频标题，即通过高亮检测器使视频字幕生成模型具有敏感性并同时进行标题生成和视频亮点定位训练，以及通过增强句子多样性，用大量无对应视频的句子训练模型，并在 18100 个用户生成的视频和标题（VTW）数据集和 M-VAD 数据集上验证了本研究的方法，均获得了最佳效果。

    Aug, 2016

  • MovieLLM：使用 AI 生成的影片增强长视频理解能力

    MovieLLM 提出了一种新颖的框架，利用 GPT-4 和文本到图像模型生成详细的脚本和对应的视觉，从而创造出长视频的合成高质量数据。该方法通过解决数据稀缺和偏见等问题，显著提高了多模态模型对复杂视频叙事的理解能力，克服了现有数据集的限制。

    Mar, 2024

  • 从预告片到剧情：从电影中高效学习的方法

    该研究通过设计视觉模块和时间分析模块，提出了一种从电影数据中学习视觉模型的替代方法，可以通过预告片学习视觉模块，通过电影数据学习时间分析模块，大大减少学习成本的同时还能够保留长期的时间结构和有效的视觉特征。

    Jun, 2018

  • 自动过渡：学习推荐视频过渡效果

    本文介绍了一种基于多模态匹配的自动视频转场推荐方法，通过一个视频转场分类任务和一个匹配模型，该方法可以为每一组相邻的视频镜头推荐最佳的视频转场，得到了与专业编辑相当的用户评分，且可以提高视频编辑效率 300 倍。

    Jul, 2022