GenDR:通用可导渲染器
本文提出了一种新的可微分渲染框架,可以使用可微分函数直接渲染彩色网格,并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号,并通过实验,证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善,并能够处理基于图像的形状拟合等具有挑战性的任务。
Apr, 2019
本文提出一种称为 “Fuzzy Metaballs” 的紧凑且可解释的表示形式的近似可微渲染器,该渲染器主要通过深度图和轮廓渲染形状,相对于网格的可微渲染器,我们的方法具有更高的效率和质量,可用于解决视觉任务,评估中我们发现,我们的方法是唯一可以与传统技术媲美的,适用于姿态估计和轮廓重建。
Jul, 2022
本文提出了一种使用通用的不可微分渲染器训练来自 2D 数据的 3D 生成模型的可扩展方法,该方法引入了一个代理神经渲染器来匹配不可微分渲染器的输出。我们进一步提出鉴别器输出匹配以确保神经渲染器学习适当地平滑栅格化。当用纯 2D 图像进行训练时,我们的模型可以比现有模型更好地学习生成更好的 3D 形状。
Feb, 2020
本文介绍了 Pix2Vex, 一种利用神经网络将图像转换为 3D 几何形状的方法,通过差异可导渲染器和图像翻译组件使网络能够训练不同类型的图像,其中渲染器平滑连续且无割裂。
Mar, 2019
本文提出了 DIB-R,一种可微的渲染框架,使得基于梯度的机器学习技术可以对图像中的所有像素进行分析计算,在单幅图像的 3D 对象预测和 3D 纹理对象生成中得到应用。
Aug, 2019
快速可靠的形状重建是许多计算机视觉应用的关键要素。神经辐射场证明了逼真的新视角合成是可行的,但在对实景和物体进行快速重建方面要求表现。最近的几种方法基于其他形状表示,特别是 3D 高斯函数。我们对这些渲染器进行扩展,例如集成可微分光流、导出满封闭网格和按射线渲染法线。此外,我们展示了两种最近方法之间的互操作性。这些重建速度快、鲁棒,并且可以在 GPU 或 CPU 上轻松执行。详细的代码和可视化示例请参见网址:https:// 此处为网址
Aug, 2023
本文介绍了一种新的分析合成技术,通过鲁棒的粗到细优化和基于物理的可微分渲染,能够重新构建现实世界对象的形状和外观,统一处理几何和反射的优化,利用图像梯度获得物理精度的梯度估计。
Mar, 2021
本文提出了一种基于 contour 的非参数、真正可微分的 soft rasterizer,使得可以从单张图片进行高质量 3D 网格重建的无监督学习成为可能,且相比其他无监督方法表现出了极大的优势。同时,我们还展示了在各种实际情况下,我们的 soft rasterizer 能够获得与最前沿的有监督学习方法可比甚至更好的结果。
Jan, 2019
本文介绍了 RenderNet,这是一种具有新颖投影单元的可微渲染卷积网络,能够从三维形状渲染出二维图像,并自动编码空间遮挡和着色计算。实验表明,RenderNet 可以成功学习实现不同的着色器,并可用于从单个图像估计形状、姿态、照明和纹理的反演渲染任务。
Jun, 2018
该论文提出了一种混合不同 iable 引擎,它支持光照和材质等照片级别的效果,甚至可以处理一些 “非兰伯特” 和 “高光” 等效果。拥有优秀的性能并且不需要任何地面真实数据,可以从单个图像中实现几何、反射和光照预测。
Oct, 2021