具有可变形锚点模型的结构感知运动转移技术
介绍一种采用深度学习方法进行图像动画生成的框架,包含关键点检测模块,密集运动预测模块和运动转移模块,并证明了该方法在多个基准数据集上优于现有的图像动画和视频生成方法。
Dec, 2018
本文提出了一种新的可变形运动调制(DMM)技术,它使用具有自适应权重调制的几何核偏移来同时执行特征对齐和风格迁移,并通过双向传播来提高运动预测能力,以实现基于视频的人体姿态转移。
Jul, 2023
本文提出了一种基于锚点的变形模型 AnchorDEF,利用非线性位移和混合刚性变换来预测身体运动状态下的三维服装动画,通过锚点来指导刚性变换矩阵的学习,并采用自适应锚点更新来优化锚点位置,从而实现更好的三维服装变形预测性能。
Apr, 2023
多视角 3D 目标检测是自动驾驶系统的重要组成部分,本文提出了一种名为 MDHA 的稀疏查询框架,使用多视角、多尺度输入构建自适应的 3D 输出提案,通过混合锚点的方式来解决数据集特定初始化和计算效率问题,并成功优于现有基线方法。
Jun, 2024
本文提出了一种基于注意力机制的网络来进行任意物体之间的动作传递,从源图像和驱动视频中提取外观信息并实现不同主体间的动作传递,通过交叉主体训练模型能更多角度、更真实的传递动作,实验表明该方法在各个领域内表现更好。
Jul, 2020
基于混合模型的多模式运动预测中,我们引入了一种新的范例 Evolution and Distinct Anchors (EDA),用于定义多模态运动预测的正负组件,通过使锚点在特定场景下演化和重新分布以扩大回归能力,并在与地面真实值匹配之前选择不同的锚点,从而提高了所有度量标准,在 Waymo Open Motion 数据集上表现出卓越的得分性能。
Dec, 2023
本文提出了一个 MAA 方法,实现了跨域运动传输的形状和外观保持,包括引入保持角度信息和结构引导的外观一致性模块,提出的 MAA 模型在数据集 Mixamo-Video to Fashion-Video 和 Vox-Celeb to Cufs 上均有更好的定量和定性效果。
Sep, 2022
本文提出了一种新的运动表示方法,能够自动分离物体中的不同部分,并追踪它们的运动,从而可以更好地进行动画制作。该方法基于完全无监督的学习,提取出有意义且一致的区域表示物体的位置、形状和姿态,适用于各种物体,并且性能超过现有的方法。
Apr, 2021
我们提出了一种无需训练的视频运动转移模型 (COMD),通过将摄像机运动从源视频中分离并转移到新的视频中,实现了对摄像机运动的灵活控制。我们通过提出一种单次摄像机运动分离方法和少次摄像机运动分离方法,从单个源视频和多个具有相似摄像机运动的视频中提取摄像机运动。最后,我们提出了一种运动组合方法,将不同类型的摄像机运动结合起来,使我们的模型具有更加可控和灵活的摄像机控制。
Apr, 2024
本文描述了一种基于自监督学习的框架,可以将一个源图像中的对象根据驱动视频的运动进行动画处理,而不需要使用任何注释或有关特定对象的先前信息。使用一个经过训练的视频集合,我们的方法可以应用于此类对象的任何对象。
Feb, 2020