Mar, 2020

通过解离几何和外观来进行多视图神经表面重建

PDF
TL;DR本文介绍一种神经网络架构，通过联合学习未知几何形状、相机参数和神经渲染器，能够高质量、高精度、高细节地实现多角度 3D 表面重建。该方法通过零级集的神经网络表示几何形状，并采用基于渲染方程的神经渲染器来预测表面上的光的反射情况，具有广泛的光照和材质建模能力。
发现论文，激发创造
  • 神经延迟着色的多视角网格重建

    提出了一种分析合成方法，用于快速多视角不透明物体的三维重建，通过将表面表示为三角形网格并围绕三角形光栅化和神经阴影构建可微分的渲染管道，优化三角形网格和神经着色器来重现多视图图像，并研究了着色器，发现它学习了可解释的外观表示。

    Dec, 2022

  • 利用神经模板正则化从不同视角进行 3D 重建

    本文提出了一种基于体绘制的神经表面重建方法，它只需要三张不同的 RGB 图像作为输入。我们的关键点是通过规范化重建来解决严重的不适定问题。我们的方法 DiViNet 分为两个阶段，第一阶段学习不同场景下的 3D 高斯函数模板，第二阶段使用预测的模板来帮助对稀疏区域的表面进行重建，实验结果表明我们的方法不仅能够完成表面几何的重建，而且能够在有稀疏视图的情况下实现最佳重建质量，在使用密集视图作为输入时的表现也不输于竞争方法。

    Jun, 2023

  • 使用 Delaunay 图神经网络进行可扩展的曲面重建

    一种基于学习的视可见性面重建方法，使用 3D Delaunay 四面体化及基于图神经网络的分类方法识别点云中缺陷区域并生成表面模型的能量模型，以局部几何和视线可见性信息学习能见度模型，结合深度学习和能量模型的优点，优于当前公开的基于学习和非学习的表面重建算法。

    Jul, 2021

  • SurfaceNet: 一个端到端的 3D 神经网络，用于多视点立体成像

    该论文提出了一种名为 SurfaceNet 的端到端学习框架，可用于多视图立体成像中的 3D 建模，并通过大规模 DTU 基准测试对 SurfaceNet 进行了验证。

    Aug, 2017

  • 稀疏多视图图像抓取的深度 3D 捕获：几何和反射

    本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法，旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF，通过最小化光度误差优化多视角反射率网络的潜在空间，成功地实现了从稀疏数据中重建出高质量的物体，进而渲染出真实的图像。

    Mar, 2020

  • 通过学习隐式函数从多视角图像中恢复详细的面部几何形状

    本文提出了一种新型架构来在数十秒内恢复极其详细的 3D 人脸，通过在多视图图像中拟合一个 3D 可塑模型，提取并聚合多个图像的特征，学习一种用于回归匹配成本的隐式函数。与先前的学习方法相比，在 FaceScape 数据集上准确性更高。

    Jan, 2022

  • NoPose-NeuS：联合优化相机姿态与神经隐式表面的多视图重建

    NoPose-NeuS 是一种将 NeuS 扩展到联合优化相机姿势、几何和颜色网络的神经隐式表面重建方法，通过将相机姿势编码为多层感知器 (MLP) 并引入多视图特征一致性和渲染深度损失，约束学习到的几何来获得更好的相机姿势和场景表面估计。DTU 数据集上的广泛实验表明，该方法能够估计相对准确的相机姿势，同时保持高质量的表面重建，平均 Chamfer 距离为 0.89。

    Dec, 2023

  • MVPNet：用于从单张图像重建三维物体的多视图点回归网络

    该论文提出了一种基于点云的物体表面重建方法，使用编码器 - 解码器网络通过单张图片生成多种视角下的点云，并且使用几何损失函数提高表面拟合准确性。

    Nov, 2018

  • 多视图重建中通过体渲染学习拓扑统一的人脸网格

    我们提出了一种面向多视角重建的具有一致拓扑的面网格的网格体渲染方法，通过将稀疏网格特征扩散到周围空间以模拟体渲染所需的辐射场，从而实现对网格几何和隐式外观特征的梯度反向传播，并展示了变形不变性的特性以实现网格编辑后的逼真渲染。

    Apr, 2024

  • Geo-Neus: 多视角重建的几何一致神经隐式曲面学习

    该论文提出了一种几何一致的神经隐式表面多视图重建方法，该方法利用多视觉几何约束和稀疏几何结构信息，结合有符号距离函数优化，以获得高质量的表面重建结果。

    May, 2022