Oct, 2021

DIB-R++：混合可微分渲染器的光照和材质预测学习

PDF
TL;DR该论文提出了一种混合不同 iable 引擎，它支持光照和材质等照片级别的效果，甚至可以处理一些 “非兰伯特” 和 “高光” 等效果。拥有优秀的性能并且不需要任何地面真实数据，可以从单个图像中实现几何、反射和光照预测。
differentiable renderersphotorealistic effectsrasterizationray-tracingmaterial models
发现论文，激发创造
  • 基于插值可微渲染器的三维物体预测学习

    本文提出了 DIB-R，一种可微的渲染框架，使得基于梯度的机器学习技术可以对图像中的所有像素进行分析计算，在单幅图像的 3D 对象预测和 3D 纹理对象生成中得到应用。

    Aug, 2019

  • 可微分的基于点的逆渲染

    提出了可微分的基于点的反渲染方法，该方法通过对在不同光照下捕获的图像进行分析合成，估计形状和空间变化的 BRDF。利用混合的基于点和基于体素的几何表示进行快速渲染，并通过正则化基函数的 BRDF 表示来缓解反渲染的无意义性。通过点阴影图渲染提出了一种高效的阴影检测方法。在计算准确性、计算效率和内存占用等方面，DPIR 优于之前的工作。同时，显式的基于点的表示和渲染使得几何和反射的编辑变得直观。

    Dec, 2023

  • 基于图像的三维推理差分渲染器

    本文提出了一种新的可微分渲染框架，可以使用可微分函数直接渲染彩色网格，并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号，并通过实验，证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善，并能够处理基于图像的形状拟合等具有挑战性的任务。

    Apr, 2019

  • 利用可微分蒙特卡罗光线跟踪进行复杂室内场景的基于学习的反渲染

    该研究提出一种终端到端的学习逆渲染框架，利用可微分 Monte Carlo 光线追踪结合重要性采样，从单张图像中恢复基础几何、空间变化的光照、真实感材料。通过物理上基于不同 iable 渲染层与荧幕空间光线追踪的引入，创建大规模室内场景数据集，设计一种新颖的场外灯光网络进行评估，呈现出与业界最先进基线方法相比提高了的反向渲染质量，可以实现诸如高度保真的复杂物体插入和材料编辑等各种应用。

    Nov, 2022

  • IBRNet: 学习多视角基于图像渲染

    通过绘制多种源视图来渲染高分辨率成像，并利用神经网路的视角插值，在新颖场景中综合新视角。

    Feb, 2021

  • IRIS：从低动态范围图像中反渲染室内场景

    从多视角、低动态范围（LDR）图像中恢复场景的基于物理的材质属性和空间变化的高动态范围（HDR）照明，实现了高度逼真的重照和物体插入。

    Jan, 2024

  • IntrinsicAnything: 学习未知照明下反向渲染的扩散先验

    该研究旨在通过生成模型和扩散模型来恢复从 RGB 图像中的物体材料，并通过粗糙到精细的训练策略来提高稳定性和准确性。

    Apr, 2024

  • DreamPBR：基于文本和多模态引导生成高分辨率的 SVBRDF

    通过结合大规模的视觉语言模型和已存在的先验知识，我们提出了 DreamPBR，一种新颖的基于扩散的生成框架，用于创建由文本和多模态控制引导的具有空间变化外观属性的材料，从而提供高度可控性和多样性。通过我们的方法，在材料 creation 和编辑应用方面展示了 DreamPBR 的多功能性和用户友好性。

    Apr, 2024

  • RPNR: 鲁棒感知神经胶片重新上色

    我们使用深度图像先验网络（DIP）和鲁棒特征提取网络，通过只使用两个图像在目标环境中以一致的方式渲染源片段，实现了在需求背景下插入所需对象的方法。与基准方法（如剪切和粘贴、剪切和粘贴神经渲染、图像协调等）相比，我们的方法不需要配对标记的数据和大量训练数据，通过定性指标进行了比较。

    Jan, 2024

  • GenDR：通用可导渲染器

    本文研究了可微分渲染器相关的各个基础组件的需求，提出了一种广义的可微分渲染器，并利用不同的平滑分布进行了实例化，通过在 ShapeNet 3D 重建基准测试上的多种尝试，分析了结果的影响。令人惊讶的是，在 13 个类别中的平均结果上，简单的均匀分布效果最好；然而，通常来说，最佳的分布选择很大程度上取决于任务。

    Apr, 2022