深度级联双网络用于人脸超分辨率重建

ECCVJul, 2016

深度级联双网络用于人脸超分辨率重建

Deep Cascaded Bi-Network for Face Hallucination

Shizhan Zhu, Sifei Liu, Chen Change Loy, Xiaoou Tang

TL;DR该论文提出了一种新的框架来幻想姿态不受限、分辨率非常低的面部图像，并在统一的框架内交替优化两个互补的任务，即面部幻象和密集对应场估计，并提出一种新的门控深度双向神经网络以恢复不同层次的纹理细节，广泛的实验证明这种表述方式在低分辨率、有显著姿势和光照变化的野外低分辨率面孔上具有例外的幻象质量。

Abstract

We present a novel framework for hallucinating faces of unconstrained poses and with very low resolution (face size as small as 5pxIOD). In contrast to existing studies that mostly ignore or assume pre-aligned face spatial configuration (e.g. facial landmarks localization or dense correspondence field), we alternatingly optimize two complementary tasks, name

face hallucination dense correspondence field estimation gated deep bi-network texture details low-res faces

发现论文，激发创造

全局 - 局部人脸上采样网络

本文提出了一种面部图像超分辨网络，该网络在低分辨率、大姿态、大光照变化等困难情况下，通过全局和局部约束的多层次特征提取和重建，通过对抗性损失函数进行优化，来实现面部图像重建和细节增强的目标，同时在控制和不受控制的实验环境下，与现有算法相比，在数量和视觉效果上均获得了显著的提高。

Mar, 2016

深度联合人脸超分辨与识别

本研究使用深度卷积网络联合学习面部图像超分辨率重构和人脸识别任务，设计了一个端到端的深度卷积网络，其中重构子网络与识别子网络级联，后者使用散发器作为输入，优化两个损失项进行训练，并在 LFW 和 YTF 数据集上进行了广泛的评估。实验结果表明，相比传统的人脸识别模型，本方法在 4 倍下采样的 LFW 测试集上可以实现 97.95％的识别准确率，并在更具挑战性的 YTF 数据集上实现了 90.65％的识别准确率。

Nov, 2016

基于深度 CNN 去噪和多层邻域分量嵌入的人脸超分辨率算法

本文提出了一种针对小输入低分辨率人脸图像的综合人脸幻象方法，该方法可将基于深度卷积神经网络的去噪先验注入到超分辨率优化模型中，同时通过多层邻域嵌入方法对面部图像进行分割并进行人脸幻象，以实现良好的超分辨率效果。

Jun, 2018

层叠超分辨率和身份先验的人脸变形重建

本文提出了一种基于卷积神经网络和脸部识别模型的（深度）脸部成像模型，通过使用级联超分辨率网络并将人脸识别模型作为学习过程中的先验来实现从低分辨率输入到高分辨率输出的脸部图像重建，实验结果表明该方法优于现有方法。

May, 2018

用于面部图像超分辨率的超身份卷积神经网络

提出一种 Super-Identity 卷积神经网络（SICNN）用于人脸超分辨率生成任务，该方法能够恢复面部身份信息并克服动态域分歧问题，可以生成更加真实的面孔并显著提高超低分辨率人脸的可识别性。

Nov, 2018

基于深度强化学习的关注人脸图像超分辨率重建

该研究提出了一种基于关注机制和强化学习的脸部超分辨率重建方法，其中利用长期回报关系同时训练了递归策略网络和局部增强网络，以利用全局依赖关系和人脸图像本身特征为不同图片适配最优搜索路径，相比已有方法在野外大姿态、大光照变化下显著提高了重建性能。

Aug, 2017

通过部件生成和增强学习幻化人脸图像

本文介绍了一种基于深度学习的脸部图像修复方法，通过两个阶段的处理，第一阶段采用 CNN 生成基础的面部组件，第二阶段合成高分辨率训练图片中的精细面部结构，实现面部图像的还原。实验证明，这种方法具有竞争力。

Aug, 2017

利用多尺度生成对抗网络产生面罩背景和上下文像素

本研究提出了一种多尺度 GAN 模型，可以从单个面部遮罩中自动产生逼真的上下文（额头、头发、颈部、衣服）和背景像素，并使用一系列重建、知觉、对抗和保持身份的损失，使幻觉的完整面部图像具有照片般的真实性。与人脸修补算法不同，它可以为大量的缺失像素产生逼真的幻觉，已经在多个数据集上进行了广泛的实验，并与两种流行的人脸交换和人脸补全方法进行了比较。此外，我们分析了我们的级联管道，并将其与最近提出的逐渐增长的 GAN 进行了比较。

Nov, 2018

极端姿势和表情下的高保真面部操纵

本文提出了一种简化面部操纵过程的新框架，包括边界预测阶段和解缠合成阶段，其中边界预测阶段通过边界图像对姿势和表情进行建模，解缠合成阶段则使用两个编码器网络将预测的边界图像和输入的面部图像编码到结构和纹理潜空间中并进行分离，最后基于一个新的高分辨率的人脸操纵数据库进行实验验证。

Mar, 2019

DeepWarp: 注视控制的逼真图像合成

本文提出了一种新的深度神经网络架构，采用粗到细的图像变形和像素强度校正的方式，可以处理人脸重定向问题的特定实例，经过数值比较和用户研究表明可行。该架构能够在前向过程中处理所有操作，并以端到端的方式联合学习所有操作的参数。在学习之后，该神经网络能够合成具有操作后视线的图像，而重定向角度可从某一范围内自由选择提供给网络作为输入。

Jul, 2016