CVPRJun, 2023

我们的风格永不过时：通过潜空间的子空间分解实现动作解缠

PDF
TL;DR本文提出了一种使用预训练图像 GAN 模型分解视频中动作的新方法，通过发现神经网络的深层潜在空间中语义上有意义的因子，实现运动解缠。作者对面部和汽车数据集进行了广泛的评估，并展示了对于运动编辑和选择性运动转移（仅转移面部表情）等多种下游任务的结果。
motion decompositiongan modeldisentangled motion subspacesvideo analysisdownstream tasks
发现论文，激发创造
  • 通过潜在空间映射的人脸身份分离

    本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

    May, 2020

  • 潜空间中的生成人体动作风格化

    人体动作风格化的生成模型基于预训练自动编码器的潜在空间进行动作提取和融合，实现了多样化的风格化结果，具有轻量级设计却在风格再现、内容保留和广泛应用方面优于现有技术的特点。

    Jan, 2024

  • 通过无监督的几何蒸馏解开内容和风格

    本文提出了一种创新的框架，利用两个分支的自编码器来学习内容和风格分离的表征，并通过多个损失约束辅助无监督学习，最终生成清晰、高质量的 256*256 分辨率的图片。

    May, 2019

  • 基于运动的生成模型：无监督分离动态模式中的外观、可跟踪和不可跟踪运动

    研究提出了一种基于状态空间模型和发射模型的无监督学习动态模式的方法，该方法可以将运动分解为可追踪和不可追踪的部分，并通过学习 latent vectors 对运动进行描述，可以用于动态图案的合成和转移，同时定义并测量动态图案的内在可追踪性。

    Nov, 2019

  • 面部图像和视频的解缩聚变换器

    本研究提出通过 StyleGAN 生成器的潜在空间编辑面部属性，通过训练专门的潜在空间转换网络并在损失函数中添加显式的分离和身份保存项来控制和保护身份，并介绍了一个将面部编辑推广到视频的流程。在真实图像和视频方面表现出出色的性能。

    Jun, 2021

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023

  • G3AN: 视频生成中外观和运动的分离

    提出了一种名为 G$^{3}$AN 的新型时空生成模型，用于捕捉高维视频数据的分布，并以分离的方式模拟外观和动作，在面部表情数据集 MUG 和 UvA-NEMO，以及人类行动数据集 Weizmann 和 UCF101 上显著优于现有方法，并分析了学习到的潜在表示的成功分解。

    Dec, 2019

  • 通过独立子空间学习分离的表示

    本论文提出了一种利用神经网络学习解开图像可控制性表示从而允许局部图像操作的方法，能够直接转移面部特定区域如眼睛、头发和嘴巴等部分的形状和颜色，而其他部位不变，通过使用定位的 ResNet 自编码器和几个损失函数进行训练，利用 CelebA 数据集检验了该方法的良好效果。

    Aug, 2019

  • 线性编码面部语义的无监督解缠

    本文介绍了一种无需外部监督即可将线性编码的面部语义从 StyleGAN 中分离的方法，并结合稳定的三维可变形面部重建方法将单视图 GAN 生成物分解为多个语义。同时，我们还展示了沿着分离表示进行引导外推可以帮助进行数据增强，并提供了对我们学习到的面部表示的分析。

    Mar, 2021

  • 通过解耦场景和运动来增强无监督视频表示学习

    提出了一种解耦场景和物体运动信息的 DSM 方法，通过构造正负剪辑来加强模型对物体运动信息的关注，减少场景信息的影响，并在两项任务上进行实验，发现在 UCF101 和 HMDB51 数据集上动作识别任务的准确率分别提高了 8.1％和 8.8％。

    Sep, 2020