Jun, 2018

RenderNet：一个用于从 3D 形状进行可微分渲染的深度卷积神经网络

PDF
TL;DR本文介绍了 RenderNet，这是一种具有新颖投影单元的可微渲染卷积网络，能够从三维形状渲染出二维图像，并自动编码空间遮挡和着色计算。实验表明，RenderNet 可以成功学习实现不同的着色器，并可用于从单个图像估计形状、姿态、照明和纹理的反演渲染任务。
发现论文，激发创造
  • 基于图像的三维推理差分渲染器

    本文提出了一种新的可微分渲染框架，可以使用可微分函数直接渲染彩色网格，并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号，并通过实验，证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善，并能够处理基于图像的形状拟合等具有挑战性的任务。

    Apr, 2019

  • 基于可微分渲染的图像 GAN 逆向图形学和可解释的 3D 神经渲染

    本文利用可微分渲染器提取并分离生成模型中的 3D 知识，将生成对抗网络作为多视图数据生成器，使用现成的可微分渲染器训练逆向图形网络，并将训练好的逆向图形网络作为教师，将 GAN 的潜在向量分离为可解释的 3D 属性。我们的方法在现有数据集上对最先进的逆向图形网络进行定量和用户研究，并显示分离的 GAN 作为可控的 3D “神经渲染器”，补充传统的图形渲染器。

    Oct, 2020

  • 逆向图形生成对抗网络：从非结构化 2D 数据生成 3D 形状的学习

    本文提出了一种使用通用的不可微分渲染器训练来自 2D 数据的 3D 生成模型的可扩展方法，该方法引入了一个代理神经渲染器来匹配不可微分渲染器的输出。我们进一步提出鉴别器输出匹配以确保神经渲染器学习适当地平滑栅格化。当用纯 2D 图像进行训练时，我们的模型可以比现有模型更好地学习生成更好的 3D 形状。

    Feb, 2020

  • 通过非可微取样的可微曲面渲染

    提出一种能够支持显式和隐式表示，可在遮挡边界提供导数的 3D 表面的可微渲染方法，使用非可微光栅化对表面进行采样，然后应用可微的深度感知的点喷洒技术生成最终图像，适用于大型 3D 模型和隐式表面定义提取的等值面的应用。

    Aug, 2021

  • 合成孔径雷达图像的可微分渲染

    本文提出了一种使用合成孔径雷达图像进行可微分渲染的方法，结合了 3D 计算机图形学和神经渲染，并在高保真模拟 SAR 数据上演示了从有限 SAR 图像重建 3D 对象的逆图形问题。

    Apr, 2022

  • IGNOR: 图像引导物体显式

    我们提出了一种基于学习的图像引导渲染技术，结合了基于图像的渲染和基于 GAN 的图像合成的优点，旨在生成虚拟和增强现实应用程序的重建对象的逼真重新渲染，一个我们工作的核心组件是处理视点相关效应，我们在方案中直接训练一种特定于对象的深度神经网络合成对象的视点相关外观。

    Nov, 2018

  • 可微体渲染：在没有 3D 监督的情况下学习隐式 3D 表示

    提出了一种不同 iable 渲染方法以从 RGB 图像中直接学习暗示形状和纹理表示形式的三维重建，其可以用于多视角 3D 重建并产生完美的网格结果。

    Dec, 2019

  • 基于插值可微渲染器的三维物体预测学习

    本文提出了 DIB-R，一种可微的渲染框架，使得基于梯度的机器学习技术可以对图像中的所有像素进行分析计算，在单幅图像的 3D 对象预测和 3D 纹理对象生成中得到应用。

    Aug, 2019

  • Pix2Vex：使用平滑可微分渲染器进行图像到几何重建

    本文介绍了 Pix2Vex, 一种利用神经网络将图像转换为 3D 几何形状的方法，通过差异可导渲染器和图像翻译组件使网络能够训练不同类型的图像，其中渲染器平滑连续且无割裂。

    Mar, 2019

  • InverseFaceNet: 深度单目逆向人脸渲染

    InverseFaceNet 是一种基于深度卷积反渲染框架的新方法，可以实时地从单个输入图像中同时估计人脸的姿态、形状、表情、反射和照明，通过利用深度神经网络训练，结合实时的外观编辑和重新照明等高级处理技术，实现了高质量、高度还原的人脸重建。

    Mar, 2017