Nov, 2018

利用多尺度生成对抗网络 产生面罩背景和上下文像素

PDF
TL;DR本研究提出了一种多尺度 GAN 模型，可以从单个面部遮罩中自动产生逼真的上下文（额头、头发、颈部、衣服）和背景像素，并使用一系列重建、知觉、对抗和保持身份的损失，使幻觉的完整面部图像具有照片般的真实性。与人脸修补算法不同，它可以为大量的缺失像素产生逼真的幻觉，已经在多个数据集上进行了广泛的实验，并与两种流行的人脸交换和人脸补全方法进行了比较。此外，我们分析了我们的级联管道，并将其与最近提出的逐渐增长的 GAN 进行了比较。
gancontext hallucinationface inpaintingphoto-realisticprogressive growing
发现论文，激发创造
  • 全局 - 局部人脸上采样网络

    本文提出了一种面部图像超分辨网络，该网络在低分辨率、大姿态、大光照变化等困难情况下，通过全局和局部约束的多层次特征提取和重建，通过对抗性损失函数进行优化，来实现面部图像重建和细节增强的目标，同时在控制和不受控制的实验环境下，与现有算法相比，在数量和视觉效果上均获得了显著的提高。

    Mar, 2016

  • 深度级联双网络用于人脸超分辨率重建

    该论文提出了一种新的框架来幻想姿态不受限、分辨率非常低的面部图像，并在统一的框架内交替优化两个互补的任务，即面部幻象和密集对应场估计，并提出一种新的门控深度双向神经网络以恢复不同层次的纹理细节，广泛的实验证明这种表述方式在低分辨率、有显著姿势和光照变化的野外低分辨率面孔上具有例外的幻象质量。

    Jul, 2016

  • 分层交叉模态对话脸动态像素损失生成

    提出了级联 GAN 方法来生成对话式人脸视频，该方法在不同的人脸形状、视角、面部特征和嘈杂声音条件下具有鲁棒性，通过将音频转换为高级结构，即面部标志点，然后在标志点的条件下生成视频帧，避免了不相关的音频视觉信号之间的假冒关联，利用动态可调整像素级损失和注意机制来解决像素抖动问题，并提出了一种新的基于回归的鉴别器结构来生成更清晰、更同步的面部动作图像，实验结果表明，我们的方法比现有方法在定量和定性比较中取得了显著更好的效果。

    May, 2019

  • 利用生成对抗网络的图像外延和融合

    本研究提出了两种用于图像外推的方法，即使用上下文编码器和单图像生成模型，并演示了 GAN 在产生合理的外推结果方面的潜在能力。通过将幻想的细节与原始图像的风格相融合，以期进一步提高结果的质量，并可能支持任意输出分辨率。

    Dec, 2019

  • 高分辨率图像修复的聚合上下文变换

    本文介绍了针对高分辨率图像（例如 512x512）的图像修复中出现的结构扭曲和纹理模糊挑战所提出的增强版 GAN 模型，该模型名为 AOT-GAN，它通过聚合从不同感受野捕捉的上下文变换来增强上下文推理，同时通过针对文本区域的遮罩预测任务来提高鉴别器对真实和合成补丁的区分能力，从而促进生成器生成清晰的纹理，并在实际应用中取得了很好的表现。

    Apr, 2021

  • 利用复制粘贴 GAN 技术进行阴影缩略图人脸超分辨率处理

    本研究提出了一种基于 CPGAN 的面部高清修复方法，通过利用内部 CPnet 提取低分辨率面部图片中的面部信息，外部 CPnet 来处理非统一的照明环境，使用新的照明补偿损失从外部导引照片中提取照明信息，该方法能够有效地产生高质量的面部图像。

    Feb, 2020

  • 从改进的层次 GAN 中学习前景 - 背景分割

    提出了一种自动合成图像和分割掩模的方法，利用生成式对抗网络学习将图像分解成前景和背景层，生成高质量数据集并用于训练前景 - 背景分割网络，同时使用前景背景分割网络稳定分层 GAN 的训练。实验证明其生成质量和分割性能与相关方法相似。

    Apr, 2021

  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018

  • 基于全面逐层逐步生成对抗网络的多可控属性高分辨率人脸补全

    本文采用深度学习的方法，利用生成式对抗网络 (GANs) 在高分辨率下控制多种属性（如男性和微笑）来完成高分辨率下具有多种属性控制的面部图像。

    Jan, 2018

  • 带有条件 GAN 的面罩引导肖像编辑

    本文提出了一种通过使用面部覆盖蒙版的条件生成式对抗网络生成更具多样性、质量、可控性的逼真面部，该方法可用于本地面部编辑、面部合成和交换，同时提供了数据增强的选项以加强面部分析的性能。

    May, 2019