Feb, 2024

自鉴换脸：基于形状不可知掩蔽自编码器的自监督人脸换脸

PDF
TL;DR通过引入自重建训练方案，使用 Shape Agnostic Masked AutoEncoder（SAMAE）来解决传统方法的局限性，包括模型训练不稳定性、目标身份泄露问题和形状错位问题，以实现在保留身份和非身份属性的同时，超越其他基准方法的全新最新技术。
face swappingshape agnostic masked autoencodermodel trainingidentity leakageshape misalignment
发现论文，激发创造
  • FlowFace++：显式语义流监督的端到端人脸交换

    本文提出了一种基于 FlowFace++ 的面部交换框架，利用明确的语义流监督和端到端架构来促进具有形状感知的人脸交换，并在野外人脸数据集上表现出色。

    Jun, 2023

  • 孪生掩模自编码器

    本文提出了基于 SiamMAE 的 Siamese Masked Autoencoders 方法，使用视频学习视觉对应关系，通过对大量补丁进行遮罩，鼓励网络集中学习运动对象和学习以对象为中心的表示。该方法可以在不依赖数据增强或用于防止表示崩溃的手工制作跟踪先兆任务或其他技术的情况下，实现与先前的自我监督方法相比更好的表现。

    May, 2023

  • FlowFace：基于语义流指导和形状感知的人脸交换

    本文提出了一种基于语义流引导的两阶段框架 ——FlowFace 进行面部交换，FlowFace 可以成功传递源面部轮廓和内部面部特征到目标面部，从而获得更加逼真的面部交换效果。

    Dec, 2022

  • SurgMAE：用于长时间手术视频分析的遮蔽自编码器

    提出一种基于采样高时空令牌的创新 MAE 架构 SurgMAE，应用于手术视频领域的自监督学习，证明了该方法在低数据量条件下的有效性及其在非手术数据集 UCF-101 上的泛化性能优越性。

    May, 2023

  • 遮蔽自编码器是可扩展的视觉学习器

    本文展示掩码自动编码器 (MAE) 是可扩展的自监督计算机视觉学习器，通过实现以两种核心设计为基础的 MAE 方法：一种不对遮罩令牌进行编码的编码器和一种从潜在表示和遮罩令牌中重建原始图像的轻量级解码器，并使用更高比例的保持训练图片完整性的遮罩令牌，同时能够提高训练精度和加速计算。本方法能够训练大型高容量模型，并 Transfer Learning 具有出色的性能。

    Nov, 2021

  • SdAE: 自我蒸馏的遮蔽式自编码器

    本文提出了一种名为 SdAE 的简单自蒸馏掩码自编码器网络，该网络具有带有编码器 - 解码器结构的学生分支来重构缺失信息，以及产生蒸馏编码代码本的老师分支。通过分析信息瓶颈，提出了一种构建良好视图以产生潜在表示的方法，并使用多重蒙版策略来提供平衡信息的多个蒙版视图，以增强性能。

    Jul, 2022

  • MV2MAE：多视角视频掩码自编码器

    从多视角捕获的视频可以帮助感知世界的 3D 结构，并对计算机视觉任务，如动作识别、跟踪等产生影响。本文介绍了一种从同步多视角视频中进行自监督学习的方法，通过交叉视角重构任务向模型注入几何信息。我们的方法基于掩码自编码器（MAE）框架，在同视角解码器的基础上，引入了一个独立的交叉视角解码器，利用交叉注意机制从源视角视频重构目标视角视频，以获得对视角变化具有鲁棒性的表示。针对视频，静态区域可以简单地进行重构，这限制了学习有意义表示的能力。为此，我们引入了一种动态加权重构损失来改进时间建模。我们在 NTU-60、NTU-120 和 ETRI 数据集上报告了最先进的结果，并在 NUCLA、PKU-MMD-II 和 ROCOG-v2 数据集上进行了迁移学习设置，证明了我们方法的鲁棒性。我们将提供代码。

    Jan, 2024

  • MGAE：用于图像自监督学习的屏蔽自编码器

    本文提出了一种新颖的 MGAE 框架，通过对图结构进行随机遮掩边来重构这些缺失的边并利用 GNN 对部分遮掩的图进行传播来训练 MGAE 以达到有效学习图结构数据的目的，并在多个开放数据集上进行了广泛实验，表明 MGAE 在链接预测和节点分类方面总体性能优于最先进的无监督学习竞争对手。

    Jan, 2022

  • 具有 Siamese 裁剪遮罩自编码器的高效图像预训练

    CropMAE 是一种替代 SiamMAE 的 Siamese 预训练方法，通过仅考虑从同一图像裁剪而来的图像对，而不是从视频中提取的帧对，从而减少了对视频数据集的需求，同时保持了竞争性能，并大幅减少了预训练时间。此外，CropMAE 证明了它能够学习类似的物体中心化表示，而不需要明确的运动，这表明当前的自监督学习方法并不是从运动中学习对象，而是依赖于 Siamese 架构。最后，CropMAE 实现了迄今最高的遮挡比例（98.5%），仅使用两个可见的补丁就能重建图像。

    Mar, 2024

  • 混合自编码器用于自监督视觉表征学习

    本文研究了 Masked Autoencoder 的数据扩增问题，提出了基于同源识别的 Mix Autoencoder 方法，通过自监督预训练可以提升下游视觉任务表现，在 ImageNet、ADE20K 和 COCO 数据集上 outperforms 了 MAE 和 iBOT 的方法。

    Mar, 2023