Apr, 2019

基于图像的三维推理差分渲染器

PDF
TL;DR本文提出了一种新的可微分渲染框架，可以使用可微分函数直接渲染彩色网格，并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号，并通过实验，证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善，并能够处理基于图像的形状拟合等具有挑战性的任务。
renderingdifferentiable renderer3d reconstructionmesh verticesshape fitting
发现论文，激发创造
  • 可微分渲染：面向无监督单视角网格重建

    本文提出了一种基于 contour 的非参数、真正可微分的 soft rasterizer，使得可以从单张图片进行高质量 3D 网格重建的无监督学习成为可能，且相比其他无监督方法表现出了极大的优势。同时，我们还展示了在各种实际情况下，我们的 soft rasterizer 能够获得与最前沿的有监督学习方法可比甚至更好的结果。

    Jan, 2019

  • 基于插值可微渲染器的三维物体预测学习

    本文提出了 DIB-R，一种可微的渲染框架，使得基于梯度的机器学习技术可以对图像中的所有像素进行分析计算，在单幅图像的 3D 对象预测和 3D 纹理对象生成中得到应用。

    Aug, 2019

  • 代数曲面近似可微渲染

    本文提出一种称为 “Fuzzy Metaballs” 的紧凑且可解释的表示形式的近似可微渲染器，该渲染器主要通过深度图和轮廓渲染形状，相对于网格的可微渲染器，我们的方法具有更高的效率和质量，可用于解决视觉任务，评估中我们发现，我们的方法是唯一可以与传统技术媲美的，适用于姿态估计和轮廓重建。

    Jul, 2022

  • GenDR：通用可导渲染器

    本文研究了可微分渲染器相关的各个基础组件的需求，提出了一种广义的可微分渲染器，并利用不同的平滑分布进行了实例化，通过在 ShapeNet 3D 重建基准测试上的多种尝试，分析了结果的影响。令人惊讶的是，在 13 个类别中的平均结果上，简单的均匀分布效果最好；然而，通常来说，最佳的分布选择很大程度上取决于任务。

    Apr, 2022

  • 合成孔径雷达图像的可微分渲染

    本文提出了一种使用合成孔径雷达图像进行可微分渲染的方法，结合了 3D 计算机图形学和神经渲染，并在高保真模拟 SAR 数据上演示了从有限 SAR 图像重建 3D 对象的逆图形问题。

    Apr, 2022

  • 逆向图形生成对抗网络：从非结构化 2D 数据生成 3D 形状的学习

    本文提出了一种使用通用的不可微分渲染器训练来自 2D 数据的 3D 生成模型的可扩展方法，该方法引入了一个代理神经渲染器来匹配不可微分渲染器的输出。我们进一步提出鉴别器输出匹配以确保神经渲染器学习适当地平滑栅格化。当用纯 2D 图像进行训练时，我们的模型可以比现有模型更好地学习生成更好的 3D 形状。

    Feb, 2020

  • 可微体渲染：在没有 3D 监督的情况下学习隐式 3D 表示

    提出了一种不同 iable 渲染方法以从 RGB 图像中直接学习暗示形状和纹理表示形式的三维重建，其可以用于多视角 3D 重建并产生完美的网格结果。

    Dec, 2019

  • RenderNet：一个用于从 3D 形状进行可微分渲染的深度卷积神经网络

    本文介绍了 RenderNet，这是一种具有新颖投影单元的可微渲染卷积网络，能够从三维形状渲染出二维图像，并自动编码空间遮挡和着色计算。实验表明，RenderNet 可以成功学习实现不同的着色器，并可用于从单个图像估计形状、姿态、照明和纹理的反演渲染任务。

    Jun, 2018

  • 基于可微分渲染的图像 GAN 逆向图形学和可解释的 3D 神经渲染

    本文利用可微分渲染器提取并分离生成模型中的 3D 知识，将生成对抗网络作为多视图数据生成器，使用现成的可微分渲染器训练逆向图形网络，并将训练好的逆向图形网络作为教师，将 GAN 的潜在向量分离为可解释的 3D 属性。我们的方法在现有数据集上对最先进的逆向图形网络进行定量和用户研究，并显示分离的 GAN 作为可控的 3D “神经渲染器”，补充传统的图形渲染器。

    Oct, 2020

  • 通过非可微取样的可微曲面渲染

    提出一种能够支持显式和隐式表示，可在遮挡边界提供导数的 3D 表面的可微渲染方法，使用非可微光栅化对表面进行采样，然后应用可微的深度感知的点喷洒技术生成最终图像，适用于大型 3D 模型和隐式表面定义提取的等值面的应用。

    Aug, 2021