Oct, 2023

探索面部变形的扩散自编码器设计空间

PDF
TL;DR使用扩散自动编码器创建的面部变形是一项新兴技术，本研究探索了设计空间的三个方面，即：采样算法、逆向 DDIM 求解器和通过少量噪声进行部分采样。
发现论文，激发创造
  • 扩散模型作为遮盖自编码器

    本文提出一种使用掩码自编码器作为扩散模型的条件，进而重复生成预训练视觉表示的方法，具备强大的下游识别任务的初始化能力，高质量图像修复和无需额外努力即可应用于视频分类等许多优点。同时，本文还对设计选择的利弊进行了全面的研究并建立了扩散模型和掩码自编码器之间的联系。

    Apr, 2023

  • 分层扩散自编码器与分离图像操作

    本论文提出了一种通过使用分层扩散自动编码器 (HDAE) 以及基于截断特征的方法对扩散模型潜空间进行描述，从而实现对图像的多种操作和语义合成。

    Apr, 2023

  • 扩散变分自编码器

    本文介绍了使用扩散变分自编码器作为潜在空间的任意流形来解决标准变分自编码器无法捕捉某些数据集拓扑性质的问题。我们证明了其可以捕捉合成数据集的拓扑性质，并在各种流形上对 MNIST 数据集进行了训练。

    Jan, 2019

  • 扩散视频自编码器：通过分离视频编码实现时态一致的人脸视频编辑

    本文提出了一种基于扩散自编码器的全新的人脸视频编辑框架，该框架能够成功地从给定的视频中提取分解特征 - 首次作为人脸视频编辑模型 - 并且允许我们通过简单地操纵时间不变的特征来实现视频编辑，以解决在编辑帧之间的时间一致性等问题。该模型还具有重建和编辑能力，能够处理野外人脸视频中的极端情况，例如遮挡的人脸。

    Dec, 2022

  • DiffusionAct：可控的一次性人脸仿真的扩散自编码器

    DiffusionAct 是一种利用扩散模型的照片级真实图像生成来进行神经脸部再现的新方法，能够编辑输入图像的脸部姿势，实现一次性、自我和跨主体再现，并展示了优于甚至与 GAN、StyleGAN2 和扩散方法相媲美的再现性能。

    Mar, 2024

  • 贪婪 - DiM: 无理有效的人脸变形的贪婪算法

    提出了一种基于迭代采样过程的扩散变形攻击模型，通过使用基于身份的启发式函数引导的贪婪策略，比较在开源的 SYN-MAD 2022 竞赛数据集上与其他十种最先进的变形算法相比，该算法以异常高的精确度欺骗了所有被测试的人脸识别系统，MMPMR 值达到 100% 以上。

    Apr, 2024

  • LMD：潜在蒙版扩散技术加速图像重建

    本文介绍了一种更快的图像重建框架 LMD，通过潜在遮蔽扩散方法，将高分辨率图像投影和重建在潜在空间中，设计了渐进遮蔽扩散模型，通过三种不同的调度器逐渐提高遮蔽比例，以从简单到困难地重建潜在特征，从而加快模型训练速度，同时保持了原始准确性，并在下游任务中显著提高推理速度。

    Dec, 2023

  • 具随机游走采样的变分扩散自编码器

    本文提出一种方法，将变分自编码器和生成对抗网络与扩散映射相结合，创建了一个继承扩散映射渐近保证的生成模型，同时保持深度模型的可扩展性。

    May, 2019

  • 无监督利用三维感知潜在扩散模型对面部特征进行解耦

    本文提出了一种新颖的无监督解缠面部表情和身份表示的框架 ——LatentFace，并使用 3D 感知的潜入模型来解决这一问题。该方法在面部表情识别和面部验证等无监督面部表示学习模型中取得了最先进的性能。

    Sep, 2023

  • MAEDiff: 基于掩码自编码器增强扩散模型的无监督脑部图像异常检测

    我们提出了一种新颖的蒙版自编码器增强扩散模型 (MAEDiff)，用于无监督异常检测脑部图像。MAEDiff 包括分层补丁分割，通过重叠上层补丁生成健康图像，并在次级补丁上采用基于蒙版自编码器的机制来增强未加入噪声区域的条件。对肿瘤和多发性硬化症病灶的数据进行了大量实验证明了我们方法的有效性。

    Jan, 2024