Oct, 2023

使用身份一致的迁移学习提升渲染肖像的真实性

PDF
TL;DR本文提出了一个新的照片逼真人像生成框架，可以有效减轻「奇异山谷」效应，提高渲染人像的真实性。使用转移学习从渲染人像的潜在空间学习到真实人像的潜在空间的一致映射，使虚拟角色的人像在外观风格改变的同时保持面部身份的不变，通过细化 StyleGAN2 生成器以保留与面部身份相关的几何和色彩特征。通过定性和定量评估以及消融实验，证明了我们的方法相较于现有方法的优势。
photo-realistic portraitsuncanny valley effectportrait generation frameworktransfer learningrendering-style portraits
发现论文，激发创造
  • 从单幅肖像生成可动画的 3D 卡通人脸

    本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架，并针对传统模型建立漫画形象耗时且难以保持相似性的问题，提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。

    Jul, 2023

  • 可控肖像图像动画的 3D GAN 反向推导

    本文提出了一种基于新开发的三维生成对抗网络（GANs）的画像图像动画的技术，该技术允许对图像主体的姿态进行明确控制，并展示了该方法在图像质量，身份保护和姿态转移等方面胜过先前的方法，同时支持属性修改。

    Mar, 2022

  • StyleAvatar：通过单个视频实时生成逼真肖像头像

    该论文提出了一种使用 StyleGAN 网络的实时照片级写实肖像化重建方法，可在忠实表情控制下生成高保真肖像化头像，并通过引入组合表示和滑动窗口增强方法将其能力扩展到全身视频生成，使训练和应用的表现和效率得到了提高。

    May, 2023

  • 深度视频肖像

    该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

    May, 2018

  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • 使用 StyleGAN 和感知细化实现标准化头像合成

    提出了一种高度稳健的基于 GAN 的框架，可从单个非约束性照片中数字化人物的标准化 3D 头像，并通过采用高度稳健的标准化 3D 面部生成器以及感知细化步骤来生成高质量的标准化面部模型。

    Jun, 2021

  • 从风格化肖像中恢复保持身份特征的人脸

    本文提出了一种 IFRP 方法，结合了 SRN 和 DN 网络，通过 STN 自动矫正艺术肖像图像的定位问题，并使用 FaceNet 网络检测提取人脸特征，从而实现从不对齐的肖像中恢复出保留主体身份的高质量真实面部图像。

    Apr, 2019

  • 快速为 VR 面部动画注册逼真的化身

    虚拟现实 (VR) 具有比其他媒体更具身临其境感的社交互动的潜力。关键在于能够在佩戴 VR 头显的同时准确地模拟一个逼真的个人化化身。本研究揭示了头显摄像头镜头与模型相差较大是导致实时模型性能下降的主要原因，并提出了一个系统设计，将问题分解为两部分：1) 一个迭代优化模块，处理同一领域的输入；2) 一个通用的以化身为导向的图像转换模块，以当前表情和头部姿态的估计为条件。这两个模块相互加强，通过展示接近真实的示例，使图像样式转换更容易，并改善领域差异移除。我们的系统高效地产生高质量的结果，不再需要昂贵的离线注册来生成个性化标签。通过在市售头显上进行大量实验证实了我们方法的准确性和效率，并在直接回归方法和离线注册上展现了显著的改进。

    Jan, 2024

  • 人像透视矫正学习

    本篇论文提出了一个基于深度学习的图像纠正技术，能够有效去除近距离人像照片中透视失真等伪像，同时还能自动推断遮挡的面部特征，该方法不需要先配合三维面部模型，并且可以显著提高人脸识别和三维重建的准确度，实现单幅肖像图像的相机标定。

    May, 2019

  • Portrait3D：基于单张野外人像图像的 3D 头部生成

    提出了 Portrait3D 框架，通过将肖像图像的身份信息整合到几何初始化、几何塑造和纹理生成阶段中，实现了从单幅肖像图像生成高质量 3D 头像的方法。

    Jun, 2024