单视角图像无监督真实感人脸旋转的旋转与渲染

CVPRMar, 2020

单视角图像无监督真实感人脸旋转的旋转与渲染

Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images

Hang Zhou, Jihao Liu, Ziwei Liu, Yu Liu, Xiaogang Wang

TL;DR本文提出了一种基于 3D 面部建模和高分辨率 GAN 的无监督框架，旋转面部并在 2D 平面上重新渲染以增强数据，并实现现实世界中单视角图像集合下的逆向旋转合成，模型表现出卓越的合成质量和身份保护性能，可以作为现代人脸识别系统的数据增强引擎。

Abstract

Though face rotation has achieved rapid progress in recent years, the lack of high-quality paired training data remains a great hurdle for existing methods. The current generative models heavily rely on datasets

face rotation generative models unsupervised framework 3d face modeling gan

发现论文，激发创造

基于循环变换的弱监督解缠合技术用于三维视图合成

这篇论文介绍了一种利用神经网络来解决从单一图像生成多角度视角的问题，并且在人脸和椅子等特定物体类别的数据上取得了良好的效果，同时展示了模型无需完全监督就可在多个应用中使用的能力。

Jan, 2016

自学转换以改善注视和头部重定向

本文提出了一种新颖的生成模型，能够在控制眼睛注视和头部方向角度方面达到细粒度控制，并通过在自学习中学习发现、解缠和编码这些外部变化来分离众多与外貌相关的因素，进而优化了准确性和数据下游任务，从而提高了端到端交叉数据集准确性的能力。

Oct, 2020

从单张图像中无监督生成新视角

本论文提出了一种基于生成对抗网络的条件生成模型，通过无监督学习实现在没有多视角、3D 和姿态监督的情况下进行从单一图像到新视角的合成。

Feb, 2021

实时辐射场用于单张图像人像视角合成

该论文提出了一种快速、高质量的单张图像推断和呈现真实感三维重建的方法，使用基于视觉 Transformer 的三面板编码器，利用合成数据进行训练，通过卷积渲染技术对神经辐射场的规范三面板进行重建，可以在具有 3D 感知图像生成器的其他类别中应用。

May, 2023

任意姿态下无监督人物图像合成

本文提出了一种使用生成式对抗学习的新方法，用于综合产生任意姿势的具有照片级真实感的人物图像。研究通过无监督的方式来处理此问题，并且将其分解成两个主要子任务，一是姿势条件的双向生成器，二是定义一个新型的损失函数，包含内容和风格项，旨在生成高感知质量的图像，可以在 DeepFashion 数据集上进行广泛的实验验证。

Sep, 2018

自然图像中的无监督生成式三维形状学习

本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

Oct, 2019

ViewNet: 无监督条件生成的视角估计

介绍了一种基于自监督学习的方法，使用透视空间变换器来实现高效的无监督视角学习，从而实现在三维世界中理解物体的探索。

Dec, 2022

超越脸部旋转：全局和局部感知 GAN 用于逼真且保留身份特征的前方合成

本文提出了一种基于 TP-GAN 网络的真实主观正面合成方法，通过引入对局部纹理的注意力网络，并结合对称损失、身份保留损失等方式来解决这个本质上存在不确定性的挑战性问题。实验结果表明，该方法不仅在感知结果上表现出色，而且在大角度人脸识别方面也优于现有的最新方法。

Apr, 2017

利用自监督形状与姿态网络从图像集合转换为点云

提出了一种深度学习技术，用于从单个图像进行三维物体重建。与以往的方法不同的是，该方法使用只有单一视角的图像进行训练，并具有自我监督学习能力，可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。

May, 2020

面向无监督学习的生成模型，用于三维可控图像合成

该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性，并提出了一种无监督的方法，可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比，该方法允许合成与视角或物体姿势变化一致的场景，可用于实现 3D 可控图像合成，生成具有可解释性的表示形式。

Dec, 2019