Photoswap 是一种新方法，以无需训练的方式通过使用预训练的扩散模型，将参考图像中的视觉概念换到目标图像中，从而实现在现有图像中个性化地更换主题，具有良好的控制性能和应用潜力。

May, 2023

SwapAnything 是一种能够始终保持上下文不变的交换个性化概念的新颖框架，通过目标变量交换和外观适应，实现了精确控制任意对象和部分对象以及对个性化概念的忠实保留，在个性化交换方面取得了显著改进，并且在单个对象、多个对象、部分对象和跨域交换任务中展现了精准且忠实的交换能力，同时在基于文本的交换和其他插入物体等任务上也取得了巨大的性能提升。

Apr, 2024

我们提出了一个生成模型，根据粗略编辑的图片合成一个遵循预定布局的逼真输出，并从原始图像中转移细节，同时保留其部分的身份信息，并将其调整到由新布局定义的光照和上下文。

Mar, 2024

本文提出了一种使用传统的图像层面个性化方法解决现有视频编辑方法中的偏见问题，通过运动个性化从单一源视频中分离运动并相应地修改主角，并引入一种新颖的伪光流来调节运动词以适应运动相关区域，最终通过额外的伪词将运动与源视频的外观分离，从而实现了更多样化和广泛的视频编辑能力。

Dec, 2023

通过引入基于对象的框架，我们的研究工作在图像驱动的视频编辑任务中表现出与最先进方法相似的性能，并展示了新的形状编辑能力。

Jan, 2024

本文提出了一种名为剪贴的创新框架，用于根据文本提示和额外参考图像进行现实语义视频编辑。

Nov, 2023

通过使用扩散模型进行定制生成，在图像生成方面取得了可观的进展，但在具有挑战性的视频生成任务中仍然不令人满意，因为它需要对主题和动作的可控性。为此，我们提出了 DreamVideo，一种新颖的方法，可以从几个所需主题的静态图像和几个目标运动的视频来生成个性化视频。

Dec, 2023

在本工作中，我们提出了一种名为 CustomVideo 的新型框架，该框架可以生成多个主题引导下的保持身份特征的视频。我们通过将多个主题组合于单个图像中来促进多主题同时出现；在基本的文本到视频扩散模型上，我们设计了一种简单而有效的注意力控制策略，以在扩散模型的潜在空间中解开不同的主题；此外，为了帮助模型专注于特定的对象区域，我们从给定的参考图像中分割对象，并为注意力学习提供相应的对象蒙版。我们还收集了一个多主题文本到视频生成数据集作为全面的基准，其中包含 69 个个体主题和 57 个有意义的主题对。广泛的定性、定量和用户研究结果证明了我们方法的优越性，与之前的最先进方法相比。

Jan, 2024

提出了一种名为 “GenVideo” 的视频编辑方法，它利用目标图像感知的 T2I 模型进行编辑，能够处理具有不同形状的目标对象的编辑，并通过新颖的目标和形状感知 InvEdit 蒙版保持编辑的时间一致性。实验分析表明，GenVideo 能够有效处理以往方法无法处理的具有不同形状的对象的编辑。

Apr, 2024

本研究提出了一种新颖的 3D 感知说话人视频动作迁移网络 Head3D，通过生成可视化可解释的 3D 标准头部，从 2D 主体帧中充分利用主体外貌信息，以适应驱动视频帧对齐。我们的方法的一个关键组成部分是自我监督的 3D 头部几何学习模块，能够从 2D 主体视频帧预测头部姿势和深度图。此外，我们还采用基于注意力的融合网络，将主体帧的背景和其他细节与 3D 主体头部相结合，生成合成目标视频。我们在两个公共说话人视频数据集上进行了广泛实验，结果表明 Head3D 在实际的跨身份设置中优于 2D 和 3D 先前方法，有证据显示它能够轻松适应受控姿态的新视图合成任务。

Nov, 2023