Nov, 2023

基于运动条件的图像动画用于视频编辑

PDF
TL;DRMoCA 是一种基于动作条件的图像动画方法，用于视频编辑，并通过图像编辑和动作条件的图像动画简化了视频编辑问题。此外，我们还提出了一个新的基准测试，用于测量对象替换、背景变化、风格变化和动作编辑等各种任务的编辑能力，并在我们提出的基准测试上对最新的视频编辑方法以及 MoCA 进行了全面的人工评估。MoCA 建立了一个新的最先进技术，展示了更高的人类偏好获胜率，并且在动作编辑方面胜过了包括 Dreamix（63%）、MasaCtrl（75%）和 Tune-A-Video（72%）在内的值得注意的最近方法，带来了显著的改进。
发现论文，激发创造
  • MOFA-Video: 冻结图像到视频扩散模型中的生成运动场适应的可控图像动画

    MOFA-Video 通过使用各种额外的可控信号（例如人类标志物参考、手动轨迹以及另一个提供的视频）或其组合，从给定的图像生成视频。MOFA-Video 不同于先前只能在特定运动范围内工作或显示弱控制能力的方法，为了实现我们的目标，我们设计了几个领域感知的运动适配器（即 MOFA-Adapters）来控制视频生成流程中生成的运动。对于 MOFA-Adapters，我们首先考虑视频的时间运动一致性，并从给定的稀疏控制条件生成稠密运动流，然后将给定图像的多尺度特征包装为稳定视频扩散生成的引导特征。我们分别对手动轨迹和人类标志物进行了两个运动适配器的训练，因为它们都包含有关控制的稀疏信息。在训练之后，不同域中的 MOFA-Adapters 也可以一起工作以实现更可控的视频生成。

    May, 2024

  • 外观和运动条件下的视频预测

    该研究介绍了一种通过给定外观和运动条件生成未来图像的方法，在条件不确定性下有着很好的表现，通过开发创新的条件方案，结合对外观和动作的识别，能够更好地进行视频预测，已在面部表情和人类动作数据集上进行了验证。

    Jul, 2018

  • MotionEditor: 通过内容感知扩散编辑视频动作

    MotionEditor 是一种扩散模型，用于视频动作编辑，通过引入内容感知的运动适配器和两分支架构实现编辑过程中保留原始背景和主角外貌。

    Nov, 2023

  • 不要以貌取人：视频识别的运动一致增强

    本研究探讨了色调变化对视频识别的影响，并提出了一种名为 Motion Coherent Augmentation（MCA）的数据增强方法，通过引入视频中的外观变化，隐式地鼓励模型优先考虑动态模式而非静态外观。我们提出了一个名为 SwapMix 的操作来高效地修改视频样本的外观，并引入了 Variation Alignment（VA）来解决 SwapMix 引起的分布偏移，强制模型学习外观不变表示。全面的实证评估验证了 MCA 的有效性和泛化能力，以及 VA 在其他增强方法中的应用。

    Mar, 2024

  • 运动背叛：通过运动分割发现伪装的物体

    设计了一种计算机体系结构，利用运动信息进行物体分割以发现视频中的伪装对象，并在大规模的 MoCA 视频数据集上证明了其有效性。

    Nov, 2020

  • 小规模视频识别的运动增强自训练

    本文介绍了一种称为 MotionFit 的自训练方法，采用 3D 卷积神经网络、运动模型和假标签来提高视频下游任务的效果。该方法在小规模视频数据集中表现优异，远超其他知识迁移算法、半监督学习和仅使用视频的自我监督学习。

    May, 2021

  • MotionMaster：无需训练的视频生成摄像机运动转移

    我们提出了一种无需训练的视频运动转移模型 (COMD)，通过将摄像机运动从源视频中分离并转移到新的视频中，实现了对摄像机运动的灵活控制。我们通过提出一种单次摄像机运动分离方法和少次摄像机运动分离方法，从单个源视频和多个具有相似摄像机运动的视频中提取摄像机运动。最后，我们提出了一种运动组合方法，将不同类型的摄像机运动结合起来，使我们的模型具有更加可控和灵活的摄像机控制。

    Apr, 2024

  • 以动作为中心的对比学习视频表征

    本文提出了一种基于 Motion-focused 对比学习的方法，利用光流采样和梯度图校准训练视频特征，加强了自监督视频表示学习中的数据增强和特征学习，实验结果表明方法有效，超过了传统监督预训练的表现。

    Jan, 2022

  • 基于关注运动增强的跨模态交互表征学习压缩视频动作识别

    本研究提出了一种新的框架 MEACI-Net，采用 RGB 模态和运动模态，并针对压缩视频动作识别常见的问题，加入了 Motion Enhancement、Selective Motion Complement 和 Cross-Modality Augment 模块，实现了两种模态间的交互作用和特征增强，有效提高了识别准确率和计算效率。

    May, 2022

  • 纠正运动的移动平均：包含事后时间信息以改善视频分割

    本论文提出一种在任何分割模型中引入时间信息的方法，从而提高视频分割性能，无需训练过程中的改动或额外标注，并通过使用光流计算进行运动校正的移动平均方法，在公开数据集和内部内窥镜数据集上展示了改进。

    Mar, 2024