AAAIDec, 2020

C2F-FWN: 用于时空一致运动转移的粗到细的流场矫正网络

PDF
TL;DR本研究提出了一种名为 Coarse-to-Fine 的流场网络，可以在人类视频运动转移中实现空间 - 时间一致性并支持外貌属性编辑。通过在 SoloDance 公共数据集和 iPER 数据集上进行的广泛实验，证明了该算法在空间和时间一致性方面优于现有技术。
human video motion transferganspatial-temporal consistencyappearance attribute editingsolodance dataset
发现论文，激发创造
  • DwNet: 密集基于光流场的人体姿态引导视频生成网络

    该研究报告介绍了一种基于 GAN 的架构 DwNet，利用密集的姿态引导表示和改进的过程，将源图像中所需的主体外观，以纹理的形式，从一种姿势变换成所需的姿势，进而生成具有时序一致性的高分辨率人像视频，并在两个基准数据集上展现出先进的性能表现

    Oct, 2019

  • REMOT: 适用于逼真人体动作转移的区域至整体框架

    本文提出了一种基于生成对抗网络的全局对齐迁移框架 (REgionto-whole human MOtion Transfer)，通过逐步生成多个身体部位并使用全局对齐模块来对齐源人的比例和位置，再使用纹理对齐模块来保持每个人的部分的相似性，在两个公共基准测试中取得了最先进的结果。

    Sep, 2022

  • 基于可变形卷积和粗到细的三维卷积神经网络提升视频帧插值

    本研究提出了一种使用可变形卷积的视频帧插值方法，使用粗到细的 3D CNN 增强多流预测，实验结果表明，该方法的干涉性能优于其他现有算法，最高可以获得 0.19dB 的 PSNR 增益。

    Feb, 2022

  • 基于单目视频的高保真度神经人类动作转移

    该文提出了一种新的框架，通过训练一系列递归深度神经网络从 2D 姿势及其时间导数来生成人类形状、结构和外观的中间表示，从而解决了视频中松散的服装动态和细节的生成问题，实现了高保真的人类动作转移。

    Dec, 2020

  • 频域中的时域一致的人类动作转移研究

    本文提出了一种名为 FreMOTR 的基于频域的人体运动转移框架，通过深入分析自然和合成视频在空间维度和时间维度的频率差异，利用频域外观正则化和时间频率正则化模块，有效缓解空间伪影和时间不一致性，进一步提高了合成视频帧级别视觉质量和时间一致性指标。

    Sep, 2022

  • 在特征空间中学习运动：局部一致变形卷积网络用于细粒度动作检测

    本文提出了一种新颖的局部一致可变卷积，利用感受野变化并强制执行局部连贯性约束以有效捕获运动信息，其中时空组件是从特征空间而非像素空间学习的。最终结果表明，所提出的方法在两个动作细粒度数据集（Salads50 和 GTEA）上均显著优于原有的长期时间建模方法，分别取得了 80.22％和 75.39％的 F1 分数。

    Nov, 2018

  • 具有潜在流动扩散模型的条件图像到视频生成

    本文提出了一种使用基于新颖潜在流扩散模型（LFDM）的方法，旨在从给定的图像和条件（例如笑容）中合成一个新的合理视频，该模型可以更好地综合空间细节和时间动作。

    Mar, 2023

  • 通过查询扭曲进行人类视频翻译

    本文提出了 QueryWarp 框架，一种用于时域连贯人体动作视频转换的新型方法。通过构建不同帧之间查询标记的时域相关性，我们使用外观流来对先前帧的查询标记进行变形，以与当前帧的查询标记对齐，从而在输出的自注意层上施加了显式约束，有效地保证了时域连贯性。在各种人体动作视频转换任务上进行实验证明了我们的 QueryWarp 框架在定性和定量上均超越了现有最先进的方法。

    Feb, 2024

  • 潜在变形：用于零样本视频到视频翻译的一致性扩散潜变量

    通过图像扩散模型的生成能力，我们提出了一种名为 LatentWarp 的新的零样本视频 - 视频翻译框架，通过约束查询令牌的时间一致性，在潜在空间中进一步结合了变形操作以约束查询令牌，从而实现了生成视频的视觉时间相干性的提升。

    Nov, 2023

  • MVFNet: 高效视频识别的多视角融合网络

    本文提出了一种基于 2D CNN 骨干网络的新的多视图融合（MVF）模块，用于视频动作识别中的时空建模，并利用可分离卷积实现了高效处理，实验结果表明，该方法在不降低识别精度的情况下降低了模型复杂度。

    Dec, 2020