Jan, 2019

可微分渲染：面向无监督单视角网格重建

PDF
TL;DR本文提出了一种基于 contour 的非参数、真正可微分的 soft rasterizer，使得可以从单张图片进行高质量 3D 网格重建的无监督学习成为可能，且相比其他无监督方法表现出了极大的优势。同时，我们还展示了在各种实际情况下，我们的 soft rasterizer 能够获得与最前沿的有监督学习方法可比甚至更好的结果。
rendering2d images3d assetssoft rasterizerunsupervised learning
发现论文，激发创造
  • 基于图像的三维推理差分渲染器

    本文提出了一种新的可微分渲染框架，可以使用可微分函数直接渲染彩色网格，并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号，并通过实验，证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善，并能够处理基于图像的形状拟合等具有挑战性的任务。

    Apr, 2019

  • 逆向图形生成对抗网络：从非结构化 2D 数据生成 3D 形状的学习

    本文提出了一种使用通用的不可微分渲染器训练来自 2D 数据的 3D 生成模型的可扩展方法，该方法引入了一个代理神经渲染器来匹配不可微分渲染器的输出。我们进一步提出鉴别器输出匹配以确保神经渲染器学习适当地平滑栅格化。当用纯 2D 图像进行训练时，我们的模型可以比现有模型更好地学习生成更好的 3D 形状。

    Feb, 2020

  • 基于插值可微渲染器的三维物体预测学习

    本文提出了 DIB-R，一种可微的渲染框架，使得基于梯度的机器学习技术可以对图像中的所有像素进行分析计算，在单幅图像的 3D 对象预测和 3D 纹理对象生成中得到应用。

    Aug, 2019

  • 神经三维网格渲染器

    本文介绍了一种基于神经网络的多边形网格渲染方法，该方法使用了一种近似梯度来克服离散化操作的限制，从而实现了单幅图像的 3D 网格重建。同时，该方法还实现了基于 2D 监督的 3D 渲染编辑操作。实验结果表明，所提出的渲染器有效性强。

    Nov, 2017

  • 代数曲面近似可微渲染

    本文提出一种称为 “Fuzzy Metaballs” 的紧凑且可解释的表示形式的近似可微渲染器，该渲染器主要通过深度图和轮廓渲染形状，相对于网格的可微渲染器，我们的方法具有更高的效率和质量，可用于解决视觉任务，评估中我们发现，我们的方法是唯一可以与传统技术媲美的，适用于姿态估计和轮廓重建。

    Jul, 2022

  • 可微体渲染：在没有 3D 监督的情况下学习隐式 3D 表示

    提出了一种不同 iable 渲染方法以从 RGB 图像中直接学习暗示形状和纹理表示形式的三维重建，其可以用于多视角 3D 重建并产生完美的网格结果。

    Dec, 2019

  • 自然图像中的无监督生成式三维形状学习

    本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

    Oct, 2019

  • 使用可微分蒙特卡罗渲染技术进行统一形状和 SVBRDF 恢复

    本文介绍了一种新的分析合成技术，通过鲁棒的粗到细优化和基于物理的可微分渲染，能够重新构建现实世界对象的形状和外观，统一处理几何和反射的优化，利用图像梯度获得物理精度的梯度估计。

    Mar, 2021

  • DRWR: 无需渲染的可微分渲染器用于从轮廓图像中自监督学习三维结构

    该论文提出了一种在三维重构时只用简单且有效的损失函数来评估重建的三维点云是否落在目标物体的轮廓内的差异渲染器（DRWR），并证明 DRWR 在广泛使用的基准测试中实现了最先进的精度，定量和定性上都优于以前的方法，而且由于 DRWR 的简单性，训练时间显著降低。

    Jul, 2020

  • 无监督点云配准：通过可微渲染实现的无监督点云配准

    我们提出了一种无监督方法 (UnsupervisedR&R)，从原始 RGB-D 视频中学习点云配准，通过可微的对齐和渲染，强制实现帧间的光度和几何一致性，实现三维场景的自动对齐。实验结果表明，该方法在室内场景数据集上优于传统方法，并具有竞争力的监督几何点云注册方法。

    Feb, 2021