AAAINov, 2022

探索基于遮罩引导的特征调制作为实现真实图像局部风格编辑机制的有效性

PDF
TL;DR本文旨在探索利用掩码引导特征调制在深度生成模型的潜空间中解决真实图像倒置和操控方向的问题，提出了 SemanticStyle 自编码器模型，并对其进行了定性和定量分析。
deep generative modelsstyle editinglatent space manipulationsemanticstyle autoencoderphotorealistic
发现论文，激发创造
  • 潜空间应用于人脸图像局部风格操作的 Latents2Semantics

    利用 Latents2Semantics 自编码器模型实现人脸图像中具有高度局部化编辑风格属性的 ROI 的结构保持风格编辑，并避免了传统风格编辑流程中需要额外的人为监督的问题。

    Dec, 2023

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023

  • 编辑风格：揭示 GAN 的本地语义

    本文介绍了一种基于 StyleGAN 的语义编辑方法，可以局部移植另一张图像的特征，而不需要额外的监督或复杂的操作，实现了对 GAN 图像的语义编辑，并提高了图像的真实感。

    Apr, 2020

  • 全局 - 局部蒙版自编码器在体积医学图像分割中的应用

    提出了一种名为全局局部遮挡自编码器 (GL-MAE) 的简单而有效的自监督预训练策略，它可以重构遮挡的全局和局部体积， 并通过全局引导一致性学习和局部到全局的对应加强和稳定掩蔽体积的表示学习。结果表明，在各种体积医学图像细分任务上，与其他自监督算法相比，该方法具有卓越的表现，即使注释很少也是如此。

    Jun, 2023

  • 面具感知写实人脸属性编辑

    本研究使用变分自动编码器 (VAE) 和生成式对抗网络 (GAN) 相结合的方法，设计了 M-AAE 算法，在保持面部细节的前提下修改图片特征，通过面部识别损失和循环一致性损失，以及生成面部口罩来强化 VAE 和 GAN 的训练目标，成功生成了高质量、保留细节的图像，并超越了现有方法。

    Apr, 2018

  • 风格干预：如何通过基于风格的生成器实现空间脱耦？

    本研究探索了利用预训练的基于样式生成器的 “样式空间” 控制本地翻译的可能性。提出了一种名为 “Style Intervention” 的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

    Nov, 2020

  • GAN 中潜在空间维度的利用，用于实时图像编辑

    通过在中间的潜空间使用具有空间维度的调制替换 AdaIN，我们提出了 StyleMapGAN，它使得通过编码器的嵌入比现有基于优化方法更加准确，同时保持 GAN 的属性。实验结果表明，我们的方法在各种图像操作任务中显著优于最先进的模型。

    Apr, 2021

  • FEAT: 带有注意力机制的人脸编辑

    本文介绍了一种基于 StyleGAN 生成器和学习到的注意力图的方法，通过在编辑图像时使用注意力图作为掩蔽层，同时使用 CLIP 算法来引导潜空间的编辑，实现对面部局部区域的控制性编辑。实验结果表明，与其他替代方法相比，我们的方法可以实现非常可控的面部区域编辑，具有更好的性能。

    Feb, 2022

  • 训练的潜在空间导航：在基于样式的模型生成的图像中预防缺乏逼真感

    本文介绍了一种简单的无监督方法，用于提供训练良好的局部潜在子空间，使得通过潜在编码的导航能够保持生成图像的真实感。实验证明，在局部潜在子空间内生成的图像能够在潜在编码反复调整的情况下保持真实感，并且这种方法对各种类型的基于风格的模型中的潜在编码优化都具有应用潜力。

    Oct, 2023

  • 对抗潜变量自注意力结构图像合成的自动编码器

    基于深度生成模型的生成工程设计方法已被提出以促进工业工程过程，通过提出一种新颖的自注意力对抗潜在自编码器（SA-ALAE）模型，我们解决了结构丰富的工业设计图像的生成困难，并展示了在实际的汽车设计任务中生成工程蓝图的潜力。

    Jul, 2023