TL;DR该研究提出了一种名为 RenderGAN 的框架,该框架使用 3D 模型和生成对抗网络来生成计算机视觉任务中需要的大量现实且标记的图像,可用于深度卷积神经网络的训练,使其性能显著提高。
Abstract
deep convolutional neuronal networks (DCNNs) are showing remarkable
performance on many computer vision tasks. Due to their large parameter space,
they require many labeled samples when trained in a supervised se
本文利用可微分渲染器提取并分离生成模型中的 3D 知识,将生成对抗网络作为多视图数据生成器,使用现成的可微分渲染器训练逆向图形网络,并将训练好的逆向图形网络作为教师,将 GAN 的潜在向量分离为可解释的 3D 属性。我们的方法在现有数据集上对最先进的逆向图形网络进行定量和用户研究,并显示分离的 GAN 作为可控的 3D “神经渲染器”,补充传统的图形渲染器。