ECCVJul, 2016

DeepWarp: 注视控制的逼真图像合成

PDF
TL;DR本文提出了一种新的深度神经网络架构，采用粗到细的图像变形和像素强度校正的方式，可以处理人脸重定向问题的特定实例，经过数值比较和用户研究表明可行。该架构能够在前向过程中处理所有操作，并以端到端的方式联合学习所有操作的参数。在学习之后，该神经网络能够合成具有操作后视线的图像，而重定向角度可从某一范围内自由选择提供给网络作为输入。
conditional image generationdeep architectureface redirectionpixel intensity correctionneural network
发现论文，激发创造
  • 使用生成对抗网络实现单目真实感凝视重定向

    本研究提出了一种使用生成对抗网络训练的方法，用于在保持外观一致、生成逼真图像的同时实现目标凝视方向的眼部图像重定向，并通过感知相似性和一致性来优化生成图像的准确性。经广泛评估，该方法在图像质量和重定向精度等方面优于现有先进技术，并且可以通过与现实数据相结合，在凝视估计任务中取得显著的性能提升。

    Mar, 2019

  • 自学转换以改善注视和头部重定向

    本文提出了一种新颖的生成模型，能够在控制眼睛注视和头部方向角度方面达到细粒度控制，并通过在自学习中学习发现、解缠和编码这些外部变化来分离众多与外貌相关的因素，进而优化了准确性和数据下游任务，从而提高了端到端交叉数据集准确性的能力。

    Oct, 2020

  • 深度视频肖像

    该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

    May, 2018

  • 通过注视重定向合成改进少样本用户特定注视适应

    本论文主要创新点是通过合成现有的参考样本的注视重定向眼图像来改进视线适应，并提出了一个自监督的方法进行域适应，利用视线重定向来提高特定个体视线估计的性能，通过对两个公共数据集的广泛实验证明了我们的视线重新定向和视线估计框架的有效性。

    Apr, 2019

  • DwNet: 密集基于光流场的人体姿态引导视频生成网络

    该研究报告介绍了一种基于 GAN 的架构 DwNet，利用密集的姿态引导表示和改进的过程，将源图像中所需的主体外观，以纹理的形式，从一种姿势变换成所需的姿势，进而生成具有时序一致性的高分辨率人像视频，并在两个基准数据集上展现出先进的性能表现

    Oct, 2019

  • GenWarp：语义保持生成器变形的单张图像到新视角

    提出了一种新颖的方法，通过将 T2I 生成模型与单目深度估计相结合的生成扭曲框架，使 T2I 模型能够学习何时扭曲和何时生成，从而解决了从单张图像合成新视角时存在的限制，并在领域内外的场景中优于现有方法。

    May, 2024

  • 基于软门控制的 Warping-GAN 实现姿势引导的人像合成

    本文介绍了 Soft-Gated Warping Generative Adversarial Network（Warping-GAN）的开发，该网络利用了灵活轻便的规避块，以在生产人像时处理任意姿势等大尺度几何变换，并在两个大型数据集上得到了显着优越的表现。

    Oct, 2018

  • 基于合成数据的角度范围和身份相似性增强的注视和头部重定向

    本文提出了一种改进全脸图像中注视和头部重定向的角度精度和真实性的方法，通过单目三维人脸重建的数据增强来扩展头部姿态和注视范围，以解决当前模型在处理大角度重定向时的限制。此外，我们还提出了一个能够在训练合成数据的情况下提供更好图像质量和未知对象身份保留的框架。实验证明，我们的方法在保持高图像质量的同时，显著提高了重定向角度精度，特别是在大角度重定向时。

    Sep, 2023

  • GazeDirector: 视频中全自由度眼部凝视重定向

    通过模型匹配的方法构建 GazeDirector 用于眼睛注视的重新定向，其通过分析与合成来追踪眼睛，实现了对 3D 准确指定目视的功能，并在 Columbia 注视数据集上的实验中得到了良好的结果。

    Apr, 2017

  • 基于单目神经网络的连续视角控制图像渲染

    本文提出了一个自监督学习的方法，通过深度引导的调整过程，利用变换自编码器的网络结构，在只有 2D 图像和相关视角变换的情况下精确合成高质量的 3D 对象或场景的新视角，并实现了细粒度和精密的六自由度视角控制。通过在合成和真实场景以及精细和固定视角设置下的彻底评估，证明了该方法的广泛适用性。

    Jan, 2019