Apr, 2021

外观驱动的自动三维模型简化

PDF
TL;DR本文提出了一套技术来同时优化三角形网格和着色模型，以匹配参考场景的外观，从而实现外观保持的简化，渲染系统之间及几何场景之间的转换。通过高度有效的可微渲染器和现代非线性优化算法，将结果驱动到在相似的视角和光照下渲染的目标场景图像空间差异最小。输出带有纹理材料的三角形网格，以保证模型在现代图形硬件上高效渲染，并受益于硬件加速光栅化、射线追踪和过滤纹理查找。
optimizationrenderingtriangle meshesshading modelsimage-space difference
发现论文，激发创造
  • 从图像中提取三角形 3D 模型、材质和照明

    本文提出了一种简便的多视角图像观察下拓扑、材料和照明的联合优化方法，通过不同 iable rendering、基于坐标的网络紧凑地表示体积纹理，并在表面网格上直接进行梯度优化，最后介绍了一种环境光的差异化公式，证明了我们的模型可以用于场景编辑、材料分解和高质量视图插值，在三角形渲染器（光栅化器和路径跟踪器）中以交互速率运行。

    Nov, 2021

  • Fantasia3D：高质量文本转 3D 内容创作中的几何形状和外观分离

    本文提出了一种新的高质量文本到三维内容创作方法，在几何和外观上采用分离式建模和学习，支持物理模拟和编辑。实验结果显示，本方法在不同的文本到 3D 任务设置下优于现有方法。

    Mar, 2023

  • 神经延迟着色的多视角网格重建

    提出了一种分析合成方法，用于快速多视角不透明物体的三维重建，通过将表面表示为三角形网格并围绕三角形光栅化和神经阴影构建可微分的渲染管道，优化三角形网格和神经着色器来重现多视图图像，并研究了着色器，发现它学习了可解释的外观表示。

    Dec, 2022

  • 基于阴影引导的生成式隐式模型用于精确形状的 3D 感知图像合成

    本研究提出了一种基于阴影引导的生成式隐式模型，该模型利用多角度光照约束对 3D 物体进行建模，使得在不同光照条件下产生逼真的渲染效果，从而改善先前方法在表达精确 3D 形状方面的局限性，并成功应用于图像重照和 3D 形状重建任务。

    Oct, 2021

  • 从真实世界图像中学习纹理三维网格的生成模型

    本文提出了一种基于 GAN 框架生成纹理三角形网格的方法，可以不依赖关键点注释，同时在 ImageNet 上设置了新的基准，相比基于真实关键点的先前方法性能相当。

    Mar, 2021

  • 基于透视成像的可伸缩场景建模：基于物理的外观和几何推理

    本论文通过引入基于物理的模型，介绍了三种新方法来解决通过物理建模推断外观和几何的挑战，从而在处理复杂数据集方面取得了一系列方法上的胜利，为未来在 3D 场景重建的快速发展领域中的探索和实际应用奠定了一个强大的框架。

    Apr, 2024

  • 面向高性能可微分渲染的模块化基元

    通过利用现有的高度优化的硬件图形管道，我们提出了一种模块化可微渲染器设计，其性能优于以前的方法。我们的设计支持现代图形管道中所有关键操作，并在高分辨率下执行用户可编程着色和几何处理。以人脸表演捕捉为例，我们将其定义为一种反渲染问题，并展示了使用我们的工具可以高效地解决这个问题。结果表明，这种简单直接的方法在渲染结果和参考图像之间实现了出色的几何对应关系。

    Nov, 2020

  • 纹理三维网格卷积生成

    本文提出使用不同 iable rendering 技术生成三角网格和相关高分辨率纹理贴图的框架，以单视角自然图像为 2D 监督，并将网格和纹理编码为 2D 表示，以便使用 2D 卷积 GAN 进行建模，并在 Pascal3D + Cars 和 CUB 上展示了方法的有效性及其评估方法。

    Jun, 2020

  • 深度外观模型用于人脸渲染

    本文介绍了一种基于多视角捕捉技术，利用深度变分自编码器来学习人脸的几何结构和外观特征联合表示，可实现对大规模、高度复杂的人脸几何结构的完美表现，从而能够适用于实时互动场景，例如虚拟现实 (VR) 应用。

    Aug, 2018

  • TANGO: 基于文本驱动的光照分解实现逼真且鲁棒性强的 3D 风格化

    该研究提出了一种基于文本提示的算法 TANGO，利用具有空间变化的双向反射分布函数、局部几何变化和照明条件等因素进行光线追踪，并通过 CLIP 模型进行优化训练，提高了 3D 样式迁移的逼真程度、3D 几何形状的一致性和稳健性。

    Oct, 2022