Sep, 2023

基于物体中心射线采样的稀疏三维重建

PDF
TL;DR我们提出了一种从由 360 度校准相机组拍摄的一组稀疏视图中重建 3D 物体的新方法。我们通过混合模型，使用基于 MLP 的神经表示和三角形网格，表示对象表面。我们工作的一个关键贡献是一种新颖的以对象为中心的神经表示采样方案，其中的光线在所有视图之间共享。这种采样方案通过网格表示确保样本沿法线方向分布均匀。然后，通过可微分的渲染器高效地进行渲染。我们证明了这种采样方案能更有效地训练神经表示，不需要额外的分割蒙版的监督，能获得最先进的 3D 重建结果，并且适用于 Google 的 Scanned Objects、Tank and Temples 和 MVMC Car 数据集的稀疏视图。
3d object reconstruction360-degree calibrated camera rigneural representationsampling schemedifferentiable renderer
发现论文，激发创造
  • 3D 透明物体混合 Mesh-neural 表示法的重建

    本研究提出了一种基于手持拍摄的自然光下重建透明物体的 3D 形状的新方法，该方法采用了显式网格和多层感知器网络（MLP）的混合表示，通过多视图剪影获得初始形状，并使用基于表面的局部 MLP 编码顶点位移场（VDF）进行表面细节的重建。定义在表面而不是体积上的局部 MLPs 也减少了搜索空间，从而实现了基于单张图片的环境抠图算法的简化实现。经过多项实验证明，此方法可以在采集数据方面进行简化，并且可以确保重建质量优于现有的技术水平。

    Mar, 2022

  • 基于几何引导的稀疏视图神经表面重建的光线增强

    本文提出了一种从稀疏多视角图像重建三维场景和对象的新方法，通过利用嵌入在多视角输入中的场景属性，创建精确的伪标签进行优化，而无需任何先验训练。我们的方法通过利用球谐函数来预测场景中点的新辐射，综合考虑所有颜色观察结果，从而提高稀疏视图的表面重建准确性。同时，我们的方法通过代理几何和正确处理遮挡来生成辐射的伪标签，避免了以往的图像变形方法的问题。我们的方法在 DTU 和 Blender 数据集上取得了优越的结果，而无需先前的训练，展示了其在解决稀疏视图重建问题方面的有效性。我们的流程灵活且可集成到其他稀疏视图的隐式神经重建方法中。

    Oct, 2023

  • 快速明确的神经视图合成

    本文研究了从稀疏源观测中合成新视角的问题，提出了一种简单而有效的方法，通过将观测编码到体积表示中进行摊销渲染，并通过自我监督信号实现了对 3D 几何的有效学习。

    Jul, 2021

  • Sparse3D：基于稀疏视角的多视点一致性扩散物体重建

    Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。

    Aug, 2023

  • Sculpt3D：多视角一致的基于稀疏三维先验的文本生成 3D

    使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的 3D 先验，以确保高质量和多样化的 3D 几何，同时保持 2D 扩散模型的生成质量和多视角一致性。

    Mar, 2024

  • 神经延迟着色的多视角网格重建

    提出了一种分析合成方法，用于快速多视角不透明物体的三维重建，通过将表面表示为三角形网格并围绕三角形光栅化和神经阴影构建可微分的渲染管道，优化三角形网格和神经着色器来重现多视图图像，并研究了着色器，发现它学习了可解释的外观表示。

    Dec, 2022

  • VoxGRAF: 基于稀疏体素网格的快速 3D 感知图像合成

    利用稀疏像素网格表示快速且三维一致地进行生成建模，通过融合渐进式生长、自由空间修剪和适当的正则化方法将单块的 MLPs 替换成三维卷积，实现对具有高视觉保真度的三维场景的高效渲染。

    Jun, 2022

  • 采样至关重要：基于点引导的 3D 人类网格重建

    本文提出了一种基于简单的特征采样方案的 3D 人体网格重建方法，该方案利用嵌入空间中的点作为引导，有助于模型更集中地关注 2D 空间中的与网格相关性的特征，进而重建出自然的人体姿态，并且应用渐进的注意屏蔽机制来精确估计网格之间的局部交互。

    Apr, 2023

  • RayNet：学习具有射线势函数的体积三维重建

    本文提出 RayNet 模型，将卷积神经网络和马尔可夫随机场相结合，利用视角不变特征表示和透视投影与遮挡的物理规律，重建不同视角的物体的密集三维模型。在真实世界的数据集上，该方法相较其他方法表现良好。

    Jan, 2019

  • H3D-Net：小样本高保真 3D 头部重建

    本研究介绍了一种利用概率形状先验的坐标神经表示方法，结合隐式可微渲染，通过两阶段优化过程，成功实现了多视角三维重建中几乎与 3D 可塑性模型方法、视角较多时的非参数方法相当的高保真度的少视角全三维头部重建。

    Jul, 2021