Sep, 2023

具有微分间接性的高效图像表示

PDF
TL;DR我们引入了可微间接寻址 —— 一种新颖的学习原语，它使用可微的多尺度查找表作为传统图形流水线中计算和数据操作的有效替代方法。我们展示了它在几个图形任务中的灵活性，即几何和图像表示、纹理映射、着色和辐射场表示。在所有情况下，可微间接寻址可以无缝集成到现有架构中，快速训练，并产生多样化和高效的结果。
发现论文，激发创造
  • 面向高性能可微分渲染的模块化基元

    通过利用现有的高度优化的硬件图形管道，我们提出了一种模块化可微渲染器设计，其性能优于以前的方法。我们的设计支持现代图形管道中所有关键操作，并在高分辨率下执行用户可编程着色和几何处理。以人脸表演捕捉为例，我们将其定义为一种反渲染问题，并展示了使用我们的工具可以高效地解决这个问题。结果表明，这种简单直接的方法在渲染结果和参考图像之间实现了出色的几何对应关系。

    Nov, 2020

  • 用于高效反向图形学的可微阴影映射

    我们展示了如何在可微分渲染的三角网格中高效生成阴影，结合预筛选阴影映射和可微分光栅化得出可微分的可见性信息，在多个反向图形问题中展示了不同 iable Shadow Maps 相较于类似精度的可微分光传递仿真快出数个数量级，同时不带阴影的可微分光栅化常常无法收敛。

    Aug, 2023

  • 可微体渲染：在没有 3D 监督的情况下学习隐式 3D 表示

    提出了一种不同 iable 渲染方法以从 RGB 图像中直接学习暗示形状和纹理表示形式的三维重建，其可以用于多视角 3D 重建并产生完美的网格结果。

    Dec, 2019

  • 作为定点的对象表示：使用隐式微分训练迭代改进算法

    该论文探讨了通过迭代重构来打破数据中对称形式的应用到实体集合的表征学习中，应用隐函数定理实现了对这一过程的可微分性的改进，在保证时间和空间复杂度稳定的同时优化了 SLATE 模块中的槽关注的学习。

    Jul, 2022

  • 基于插值可微渲染器的三维物体预测学习

    本文提出了 DIB-R，一种可微的渲染框架，使得基于梯度的机器学习技术可以对图像中的所有像素进行分析计算，在单幅图像的 3D 对象预测和 3D 纹理对象生成中得到应用。

    Aug, 2019

  • 基于图像的三维推理差分渲染器

    本文提出了一种新的可微分渲染框架，可以使用可微分函数直接渲染彩色网格，并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号，并通过实验，证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善，并能够处理基于图像的形状拟合等具有挑战性的任务。

    Apr, 2019

  • 利用可微球追踪渲染深度隐式有符号距离函数

    提出了一种可微球追踪算法，可以将隐式有符号距离函数的深度学习方法与逆向图形方法联系起来。该渲染方法可以高效地重建不同类型的 3D 形状，具有优秀的泛化能力和稳健性。

    Nov, 2019

  • 逆向渲染中间接照明建模

    本文提出一种新的方法来有效地恢复具空间变化的间接光照。该方法使用输入图像学习的神经放射场方便地导出间接光照，并采用适当建模的方法恢复直接光照的可见度和间接光照的折射 - 阴影自由反照率，以达到优于先前方法的效果。

    Apr, 2022

  • 可微绘画与素描

    该论文提出了一种可微分方案，用于反距离变换松弛像素栅格的绘制过程，以学习和优化图像的绘制过程，支持自动编码器将栅格化的手写数字转换成向量。

    Mar, 2021

  • 通过非可微取样的可微曲面渲染

    提出一种能够支持显式和隐式表示，可在遮挡边界提供导数的 3D 表面的可微渲染方法，使用非可微光栅化对表面进行采样，然后应用可微的深度感知的点喷洒技术生成最终图像，适用于大型 3D 模型和隐式表面定义提取的等值面的应用。

    Aug, 2021