Dec, 2023

结构无关视频编辑中的主角多样化

PDF
TL;DR本文提出了一种使用传统的图像层面个性化方法解决现有视频编辑方法中的偏见问题，通过运动个性化从单一源视频中分离运动并相应地修改主角，并引入一种新颖的伪光流来调节运动词以适应运动相关区域，最终通过额外的伪词将运动与源视频的外观分离，从而实现了更多样化和广泛的视频编辑能力。
text-to-video generationvideo editingmotion personalizationimage-level personalizationpseudo optical flow
发现论文，激发创造
  • 利用专家群体进行通用视频编辑

    该论文提出一个称为 Make-A-Protagonist 的通用视频编辑框架，其利用文本和视觉线索编辑视频，旨在使个人成为主角。

    May, 2023

  • GenVideo: 利用 T2I 扩散模型进行单次目标图像和形状感知视频编辑

    提出了一种名为 “GenVideo” 的视频编辑方法，它利用目标图像感知的 T2I 模型进行编辑，能够处理具有不同形状的目标对象的编辑，并通过新颖的目标和形状感知 InvEdit 蒙版保持编辑的时间一致性。实验分析表明，GenVideo 能够有效处理以往方法无法处理的具有不同形状的对象的编辑。

    Apr, 2024

  • 搜索先验使文本到视频的合成更好

    本文使用搜索为基础的生成流程，将传统的文本到视频生成过程重构，并利用先前的视频作为动作先验数据库，以此增强生成视频动作的真实感。

    Jun, 2024

  • 可控的图像描述生成视频技术

    提出了一种名为 TI2V 的新的视频生成任务，即从静态图像和文本描述生成视频。介绍了一种名为 MAGE 的视频生成器，其中包含一种创新的运动锚（MA）结构，以存储外观 - 运动对齐表示，通过三维轴向变压器与给定图像交互，支持可控性和多样性。两个新的视频 - 文本匹配数据集验证了 MAGE 的有效性并展示了 TI2V 的潜力。

    Dec, 2021

  • 一键式动作定制的文本到视频扩散模型

    通过低秩适应的时空注意力层，该文献介绍了一种用于一次性运动定制的自定义视频模型，可以从单个参考视频中学习运动信息，以适应新的主题和场景，并可轻松扩展到多个下游任务。

    Feb, 2024

  • 使用文本和结构指导生成定制视频

    本文提出了一种使用文本作为上下文描述和动作结构（例如逐帧深度）作为具体指导的定制视频生成方法，涉及使用先前为静止图像合成预先训练的潜在扩散模型并引入时间模块进行视频生成的联合条件视频生成。实验结果表明，该方法在时间一致性和与用户指导的忠实度方面表现优异，特别是在现有基线模型方面具有更好的性能。

    Jun, 2023

  • 文本到视频扩散模型中的定制动作

    通过扩展现有的文本到视频生成模型，我们引入了一种方法来增加定制动作，以超越原始训练数据中所描绘的动作。通过利用几个呈现特定动作的视频样本作为输入，我们的方法学习并概括了多样化的、与文本指定情景相关的输入动作模式。

    Dec, 2023

  • 使用图像扩散模型编辑具有时间一致性的视频

    通过建立一个优雅而高效的 TCVE（Temporal-Consistent Video Editing）方法，本研究在大规模文本到图像（T2I）扩散模型的基础上，解决了文本引导视频编辑中的时间不连贯问题，取得了视频时序一致性和编辑能力方面的最新突破，并超越了该领域的现有基准。

    Aug, 2023

  • 神奇修复：通过观察动态视频简化照片编辑

    我们提出了一个生成模型，根据粗略编辑的图片合成一个遵循预定布局的逼真输出，并从原始图像中转移细节，同时保留其部分的身份信息，并将其调整到由新布局定义的光照和上下文。

    Mar, 2024

  • I2VEdit: 通过图像到视频扩散模型进行首帧引导视频编辑

    通过使用预训练的图像到视频模型，我们介绍了一种新颖而通用的方法，将图像编辑工具的适用范围扩展到视频中，通过从单个帧到整个视频的传播编辑来处理全局编辑，局部编辑和适度形状变化，并且通过细粒度的注意力匹配来实现精确的调整，同时采用跳跃间隔策略来减轻多个视频片段之间自回归生成所带来的质量退化。实验结果证明了我们的框架在细粒度视频编辑方面的优异性能，并证明其能够产生高质量、时间上连续的输出。

    May, 2024