Nov, 2020

面向高性能可微分渲染的模块化基元

PDF
TL;DR通过利用现有的高度优化的硬件图形管道，我们提出了一种模块化可微渲染器设计，其性能优于以前的方法。我们的设计支持现代图形管道中所有关键操作，并在高分辨率下执行用户可编程着色和几何处理。以人脸表演捕捉为例，我们将其定义为一种反渲染问题，并展示了使用我们的工具可以高效地解决这个问题。结果表明，这种简单直接的方法在渲染结果和参考图像之间实现了出色的几何对应关系。
发现论文，激发创造
  • 可微分积木世界：基于图元渲染的定性三维分解

    本研究提出一种基于图像的方法，通过对纹理强的 3D 原语进行优化，得到了简单、紧凑且具有操作性的 3D 世界表示，并比较了该方法与现有方法在真实场景中的表现。

    Jul, 2023

  • 基于图像的三维推理差分渲染器

    本文提出了一种新的可微分渲染框架，可以使用可微分函数直接渲染彩色网格，并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号，并通过实验，证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善，并能够处理基于图像的形状拟合等具有挑战性的任务。

    Apr, 2019

  • 具有微分间接性的高效图像表示

    我们引入了可微间接寻址 —— 一种新颖的学习原语，它使用可微的多尺度查找表作为传统图形流水线中计算和数据操作的有效替代方法。我们展示了它在几个图形任务中的灵活性，即几何和图像表示、纹理映射、着色和辐射场表示。在所有情况下，可微间接寻址可以无缝集成到现有架构中，快速训练，并产生多样化和高效的结果。

    Sep, 2023

  • 基于插值可微渲染器的三维物体预测学习

    本文提出了 DIB-R，一种可微的渲染框架，使得基于梯度的机器学习技术可以对图像中的所有像素进行分析计算，在单幅图像的 3D 对象预测和 3D 纹理对象生成中得到应用。

    Aug, 2019

  • 外观驱动的自动三维模型简化

    本文提出了一套技术来同时优化三角形网格和着色模型，以匹配参考场景的外观，从而实现外观保持的简化，渲染系统之间及几何场景之间的转换。通过高度有效的可微渲染器和现代非线性优化算法，将结果驱动到在相似的视角和光照下渲染的目标场景图像空间差异最小。输出带有纹理材料的三角形网格，以保证模型在现代图形硬件上高效渲染，并受益于硬件加速光栅化、射线追踪和过滤纹理查找。

    Apr, 2021

  • 3D 高斯差分渲染的灵活技术

    快速可靠的形状重建是许多计算机视觉应用的关键要素。神经辐射场证明了逼真的新视角合成是可行的，但在对实景和物体进行快速重建方面要求表现。最近的几种方法基于其他形状表示，特别是 3D 高斯函数。我们对这些渲染器进行扩展，例如集成可微分光流、导出满封闭网格和按射线渲染法线。此外，我们展示了两种最近方法之间的互操作性。这些重建速度快、鲁棒，并且可以在 GPU 或 CPU 上轻松执行。详细的代码和可视化示例请参见网址：https:// 此处为网址

    Aug, 2023

  • GenDR：通用可导渲染器

    本文研究了可微分渲染器相关的各个基础组件的需求，提出了一种广义的可微分渲染器，并利用不同的平滑分布进行了实例化，通过在 ShapeNet 3D 重建基准测试上的多种尝试，分析了结果的影响。令人惊讶的是，在 13 个类别中的平均结果上，简单的均匀分布效果最好；然而，通常来说，最佳的分布选择很大程度上取决于任务。

    Apr, 2022

  • 用于高效反向图形学的可微阴影映射

    我们展示了如何在可微分渲染的三角网格中高效生成阴影，结合预筛选阴影映射和可微分光栅化得出可微分的可见性信息，在多个反向图形问题中展示了不同 iable Shadow Maps 相较于类似精度的可微分光传递仿真快出数个数量级，同时不带阴影的可微分光栅化常常无法收敛。

    Aug, 2023

  • 代数曲面近似可微渲染

    本文提出一种称为 “Fuzzy Metaballs” 的紧凑且可解释的表示形式的近似可微渲染器，该渲染器主要通过深度图和轮廓渲染形状，相对于网格的可微渲染器，我们的方法具有更高的效率和质量，可用于解决视觉任务，评估中我们发现，我们的方法是唯一可以与传统技术媲美的，适用于姿态估计和轮廓重建。

    Jul, 2022

  • 使用可微分蒙特卡罗渲染技术进行统一形状和 SVBRDF 恢复

    本文介绍了一种新的分析合成技术，通过鲁棒的粗到细优化和基于物理的可微分渲染，能够重新构建现实世界对象的形状和外观，统一处理几何和反射的优化，利用图像梯度获得物理精度的梯度估计。

    Mar, 2021