Feb, 2024

智能导演：使用 ChatGPT 进行动态视觉构图的自动框架

PDF
TL;DR利用智能导演框架提出动态视觉合成（DVC）任务，通过综合用户需求和自动生成描述以及推荐音乐的方法，结合图像处理和风格转换技术，解决用户普遍缺乏专业技能的问题，实现自动集成多媒体元素并创作叙事性视频。
short video platformsdynamic visual composition (dvc)intelligent director frameworklensanimeganv2
发现论文，激发创造
  • 从字幕生成视频：创造您所说的话

    本文中，我们提出了一个新颖的基于标题的时序生成对抗网络（TGANs-C）来生成视频，该网络结合了数据的语义和时间上的一致性。我们通过定性和定量实验验证了我们的提议，并展示了在给定标题的情况下生成逼真视频的能力。

    Apr, 2018

  • 大型语言模型是零样本文本到视频生成的帧级导演

    本文介绍了一种新的基于指令训练的大语言模型框架 DirecT2V，该模型可以通过用户提供的单个抽象提示生成一帧帧的视频，并通过新颖的数值映射方法和双 softmax 过滤来维护临时一致性和防止物体折叠。实验结果证明了 DirecT2V 框架在从抽象用户提示中生成视觉上一致和连贯的视频方面的有效性，从而解决了零样本视频生成的挑战。

    May, 2023

  • VideoDirectorGPT: 基于 LLM 引导的一致多场景视频生成

    我们提出了 VideoDirectorGPT，这是一个使用 LLMs 知识的生成一致多场景视频的新框架，并通过实验展示了其在布局和运动控制方面的显著改进，同时在单场景和多场景视频生成中实现了场景的视觉一致性。

    Sep, 2023

  • 深度学习在视频字幕生成中的综述

    本文介绍了视频字幕生成技术的研究现状和面临的挑战，重点讨论了基于深度学习的方法，涵盖了多种架构及其应用领域，如问答、检索等。

    Apr, 2023

  • CVPR 2023 文本引导的视频编辑竞赛

    利用 AI 实现文本引导下的视频编辑的方法在该研究中进行了描绘和竞赛评估，并提出了一种新的数据集用于文本引导下的视频编辑任务。

    Oct, 2023

  • 基于文本的视频生成

    通过训练条件生成模型从文本中提取静态和动态信息，结合 VAE 和 GAN 的混合框架，采用画线和过滤器来生成可信度高和多样性强的文本视频。

    Oct, 2017

  • Music2Video：音频和文本融合的自动生成音乐视频

    利用多模态特征空间中的文本和音频嵌入指导生成模型的生成图像，进一步实现音乐视频创作，我们提出的方法需要对视频进行自动分段，同时保持时间上的一致性，与以前的方法不同，我们的方法融合了文本和音频两个模态，展示了良好的应用效果

    Jan, 2022

  • Video-ChatGPT: 通过大型视觉和语言模型实现详细视频理解

    介绍了基于视觉编码器与大型语言模型相结合的 Video-ChatGPT 模型，用于理解和生成关于视频的人类对话，并介绍了使用手动和半自动管道获得的新数据集，可用于训练和评估基于视频的对话模型，并在定量评估框架下分析了该模型的优劣。

    Jun, 2023

  • AIGCBench：AI 生成的图像到视频内容的综合评估

    人工智能生成内容（AIGC）领域迅速发展，本研究介绍了 AIGCBench，一个全面且可扩展的基准测试，旨在评估各种视频生成任务，主要集中在图像到视频（I2V）生成上。

    Jan, 2024

  • 视觉事实查证：实现高保真详细标题生成

    本研究提出了一种名为 VisualFactChecker（VFC）的自动图像描述方法，通过三个步骤，包括提案、验证和描述，生成高保真、详细的 2D 图像和 3D 物体描述，经综合评估得知 VFC 在多个指标上胜过其他开源的自动图像描述方法。

    Apr, 2024