Nov, 2023

FlowZero：基于 LLM 驱动的动态场景语法的零样本文本到视频合成

PDF
TL;DRText-to-video generation using FlowZero, a framework that combines Large Language Models (LLMs) with image diffusion models, achieves improvement in zero-shot video synthesis by generating coherent videos with vivid motion.
发现论文，激发创造
  • 自由开花：具有 LLM 导演和 LDM 动画师的零样学文本至视频生成器

    免费盛开通过利用大型语言模型作为导演以生成语义连贯的提示序列，同时利用预训练的潜在扩散模型作为动画师生成高保真度的帧，以确保时间和相同的连贯性和保持语义连贯性，而无需任何视频数据和培训要求。

    Sep, 2023

  • 零样本文本指导的视频到视频转换

    本研究提出了一种基于零样本文本引导的视频到视频转换框架来适应图像模型到视频的应用，在形状、纹理和颜色上强制执行分层的跨帧约束，实现低成本下的全局样式和局部纹理的时空一致性。

    Jun, 2023

  • TI2V-Zero: 文本到视频扩散模型中的零样本图像调节

    提出了 TI2V-Zero：一种无需优化或微调的零样本方法，通过使用预训练的文本到视频扩散模型，使其能够在给定图像的条件下生成实际视频。该方法使用 “重复滑动” 策略来引导视频生成，并提供了一种保持视觉细节的新合成帧初始化和重新采样技术，从而实现视频的逐帧合成。TI2V-Zero 在领域特定和开放领域数据集上的实验证明了其优越性能，并且能够无缝扩展到其他任务和支持长视频生成。

    Apr, 2024

  • Text2AC-Zero：使用 2D 扩散一致合成动画角色

    我们提出了一种零样本方法，基于预训练的文本到图像扩散模型实现一致的文本到动画角色合成。通过利用现有的基于文本的动作扩散模型生成多样的动作，并使用其指导文本到图像模型，我们成功地在不需要训练或微调的情况下生成了具有不同动作和风格的时序一致的视频，优于现有的零样本文本到视频方法在像素一致性和用户偏好方面。

    Dec, 2023

  • AnimateZero：视频扩散模型能进行零样动画生成

    通过解耦视频为特定外观与相应动作的图像动画，我们提出了 AnimateZero 来揭示预训练的文本到视频扩散模型 AnimateDiff，并为其提供更精确的外观和动作控制能力。Anima teZero 无需进一步训练即可成功控制生成进程，对于给定图像，还可以实现多种新应用，包括交互式视频生成和真实图像动画。详细实验表明，该方法在 T2V 和相关应用中具有有效性。

    Dec, 2023

  • 大型语言模型是零样本文本到视频生成的帧级导演

    本文介绍了一种新的基于指令训练的大语言模型框架 DirecT2V，该模型可以通过用户提供的单个抽象提示生成一帧帧的视频，并通过新颖的数值映射方法和双 softmax 过滤来维护临时一致性和防止物体折叠。实验结果证明了 DirecT2V 框架在从抽象用户提示中生成视觉上一致和连贯的视频方面的有效性，从而解决了零样本视频生成的挑战。

    May, 2023

  • Motion-Zero：基于扩散的视频生成中的零表示移动物体控制框架

    我们提出了一种新颖的零样条移动物体轨迹控制框架 Motion-Zero，通过提供基于位置的先验来改善移动物体的外观稳定性和位置准确性，并利用 U-net 的注意力图在扩散模型的去噪过程中直接应用空间约束，从而进一步确保移动物体的位置和空间一致性，并通过引入移动注意力机制实现时序一致性的保证。这种方法可以灵活运用于各种最先进的视频扩散模型，无需任何训练过程，大量实验证明我们的方法可以控制物体的运动轨迹并生成高质量的视频。

    Jan, 2024

  • 使用光流估计合成逼真的场景文本视频

    本文介绍了一种名为 FlowText 的视频文字合成技术，通过利用光流估计，在低成本的情况下合成大量的文本视频数据，用于训练强健的视频文字定位器。实验证明，将 TransDETR 等通用检测器与 FlowText 结合使用，可以在 ICDAR2015video 和 ICDAR2013video 等不同数据集上获得显著的结果。

    May, 2023

  • 零样学习的基于文本驱动运动转换的时空扩散特征

    我们提出了一种新的文本驱动运动转换方法，通过合成一个符合目标对象和场景描述的输入文本的视频，同时保持输入视频的运动和场景布局。

    Nov, 2023

  • 利用大型语言模型增强面向动态感知的文本到视频扩散

    通过设计一个创新的动态场景管理器 (Dysen) 模块，该模块可以从输入文本中提取关键动作并将其以适当的时间顺序和动态场景图 (DSG) 表示转换，从而丰富了视频的场景细节，并与主干的 T2V DM 相结合来实现高质量的文本到视频生成。

    Aug, 2023