Oct, 2023

逆向过程建模的单视图三维重建

PDF
TL;DR通过反向程序化建模的方法，我们提出了一种三维重建技术，并研究了两种变种。第一种选择使用遗传算法来拟合输入参数的集合，我们展示了我们在树模型和复杂对象的实验结果。第二种选择通过使用变异算法、可微分渲染和不可微分程序化生成器，显著提高了精度。我们的研究有两个主要贡献：首先，我们提出了一种将可微分渲染和反向程序化建模相结合的方法，从而在只有少量输入图像可用时（甚至只有一张图像），比现有方法更精确地重建三维模型；其次，我们将可微分和不可微分的程序化生成器结合在一个框架中，允许我们将反向程序化建模应用于相当复杂的生成器：当梯度可用时，重建是精确的；当梯度不可用时，重建是近似的，但总是高质量且无视觉伪影。
发现论文，激发创造
  • 基于混合可微分渲染方法的高效多视角逆向渲染

    从自然二维图像中恢复现实世界物体的形状和外观是一个长期存在且具有挑战性的逆渲染问题。本文介绍了一种新颖的混合可微渲染方法，能够从传统手持相机捕捉的多视图图像中高效重构场景的三维几何和反射率。我们的方法采用分析与合成的方法，分为两个阶段。在初始化阶段，我们使用传统的 SfM（结构光型三维重建）和 MVS（多视角立体匹配）方法来大致重建与实际场景相匹配的虚拟场景。然后，在优化阶段，我们采用混合方法来优化几何和反射率，其中几何首先使用近似可微渲染方法进行优化，然后再使用基于物理的可微渲染方法优化反射率。我们的混合方法将近似方法的效率与基于物理的方法的高质量结果结合起来。对合成和真实数据进行的大量实验证明，我们的方法在更高效的同时能够产生与最先进方法相似或更高质量的重建结果。

    Aug, 2023

  • 基于伪多视角优化的高保真三维 GAN 反演

    提出了一种高保真的三维对抗生成网络，可以在保留输入图像的特定细节的同时合成逼真的新视图。该方法通过伪多视图估计和能见度分析建立，有效解决了三维反演中的几何纹理平衡问题，并成功实现了单张图像的高保真三维重建和新视图合成。并且本方法亦适用于图像属性编辑和 3D 纹理修改，因此有望被广泛应用于人工智能生成的三维内容领域。

    Nov, 2022

  • 使用预训练的 2D 扩散模型解决 3D 反问题

    本文结合传统的基于模型的迭代重建方法和现代扩散模型，提出了一种高度有效的方法来解决 3D 医学图像重建任务，包括稀疏视图断层扫描、有限角度断层扫描、预训练 2D 扩散模型压缩感知 MRI 等。我们在测试时提出了 2D 扩散先验的增强模型先验，从而实现了所有维度上的一致重建。该方法可以在单个普通 GPU 上运行，并且在最极端情况下（例如 2 视的 3D 断层扫描）表现出高保真度和准确度的重建。我们进一步揭示了该方法的泛化能力出乎意料地高，并且可以用于重建与训练数据集完全不同的体积。

    Nov, 2022

  • 基于可微分渲染的图像 GAN 逆向图形学和可解释的 3D 神经渲染

    本文利用可微分渲染器提取并分离生成模型中的 3D 知识，将生成对抗网络作为多视图数据生成器，使用现成的可微分渲染器训练逆向图形网络，并将训练好的逆向图形网络作为教师，将 GAN 的潜在向量分离为可解释的 3D 属性。我们的方法在现有数据集上对最先进的逆向图形网络进行定量和用户研究，并显示分离的 GAN 作为可控的 3D “神经渲染器”，补充传统的图形渲染器。

    Oct, 2020

  • 多视角反演的三维感知生成对抗网络

    当前针对人头的 3D GAN 反演方法通常只使用一个正面图像来重建整个 3D 头部模型，从而忽略了多视角数据或动态视频时的有意义信息。本研究基于现有先进的 3D GAN 反演技术，允许一致且同时地反演同一主体的多个视角。我们采用多潜变量扩展来处理动态人脸视频中的不一致性，从而从序列中重新合成一致的 3D 表示。由于我们的方法使用了有关目标主体的额外信息，我们观察到在几何精度和图像质量方面显著提高，尤其是在宽视角下的渲染。此外，我们展示了反演 3D 渲染的可编辑性，这使它们与基于 NeRF 的场景重建有所区别。

    Dec, 2023

  • 使用可微分蒙特卡罗渲染技术进行统一形状和 SVBRDF 恢复

    本文介绍了一种新的分析合成技术，通过鲁棒的粗到细优化和基于物理的可微分渲染，能够重新构建现实世界对象的形状和外观，统一处理几何和反射的优化，利用图像梯度获得物理精度的梯度估计。

    Mar, 2021

  • 2L3: 将不完美生成的 2D 图像提升到精确的 3D

    通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

    Jan, 2024

  • 可解释多目标跟踪的反向神经渲染

    通过在预训练的 3D 对象表示的潜在空间上优化可微分的渲染管道，我们提出将 RGB 摄像机中的 3D 多目标跟踪重新构建为逆渲染问题，通过优化图像损失在生成的潜空间上进行，其固有地解藕形状和外观属性。我们验证了我们方法的泛化和扩展能力，通过仅从合成数据学习生成先验，并在 nuScenes 和 Waymo 数据集上评估基于摄像机的 3D 跟踪。

    Apr, 2024

  • 从单个扫描构建 3D 可塑模型

    本文提出了一种从单个 3D 网格构建生成模型的方法，使用高斯过程表示形状和反照率的 3D 可变模型，可以用于人脸识别等领域。

    Nov, 2020

  • 基于光度学的网格优化技术，用于视频对齐的三维物体重建

    本论文研究了从 RGB 视频中重建三维物体网格的方法，结合多视角几何和数据驱动方法来优化物体网格以适应多视角光度一致性，并通过形状先验来约束网格变形。作者采用逐片图像对齐的形式，通过光度误差更新形状参数，无需深度或掩膜信息。此外，作者还展示了如何通过虚拟视点的光栅化来避免零光度梯度导致的退化问题，并展示了采用光度网格优化的方法从合成和真实视频中获得的三维物体网格重建结果，相比于传统的网格生成网络或表面重建方法，避免了繁琐的手动后处理。

    Mar, 2019