Mar, 2024

AiSDF: 室内场景中结构感知的神经有符号距离场

PDF
TL;DR在室内场景中，我们提出了一种基于结构感知的在线有符号距离场（SDF）重建框架，特别是在 Atlanta 世界（AW）假设下，命名为 AiSDF。通过该在线框架，我们推断给定场景的潜在 Atlanta 结构，然后估计支撑 Atlanta 结构的平面 surfel 区域，提供了给定场景的显式平面地图。此外，基于这些 Atlanta 平面 surfel 区域，我们对 SDF 重建进行自适应采样和约束结构规律性，从而在保持高层结构的同时增强给定场景的细节。我们在 ScanNet 和 ReplicaCAD 数据集上评估了提出的 AiSDF，证明了该框架能够隐式地重建对象的细节，并在房间尺度的场景中显式地重建结构。
发现论文，激发创造
  • I$^2$-SDF：使用神经 SDF 射线追踪进行室内场景本质重建与编辑

    本研究提出了一种基于神经距离场的方法，利用可微分的蒙特卡罗光线跟踪技术，从多视角图像中恢复室内场景的形状、辐射和材料，并进行物理模拟和逼真的场景编辑。实验结果表明，该方法在室内场景重建、新视角合成和场景编辑方面优于现有的基线方法。

    Mar, 2023

  • 学习符号距离场进行多视角表面重建

    本研究提出了一种基于神经隐式表达并结合立体匹配和特征保持的新型表面重建框架，使用有符号距离场和表面光场直接表示场景几何及外观，并通过优化多视角特征一致性和渲染图像的保真度来精细化表示几何形状，提高了复杂场景拓扑的重建鲁棒性，实验结果表明相较于现有最优方法，本方法在无需输入蒙版的广阔场景网格重建上具有更佳的表现。

    Aug, 2021

  • NC-SDF：使用具有视角相关法向量补偿的神经 SDF 增强室内场景重建

    基于神经隐式表面表示的 3D 重建框架 NC-SDF，通过视角缺陷的学习和修正，提高了重建的全局一致性和局部细节，并通过信息丰富的像素采样策略和混合几何建模方法进一步改善了重建质量。

    May, 2024

  • SurroundSDF：基于有向距离域的隐式三维场景理解

    提出 SurroundSDF 方法来通过环境图像隐式地预测连续的感知距离场 (SDF) 和语义场，通过使用基于查询的方法和 Eikonal 公式约束 SDF 以准确描述障碍物表面，并引入一种新的弱监督模式 (Sandwich Eikonal formulation) 来提高表面感知的准确性，实验证明该方法在 nuScenes 数据集上在占用预测和 3D 场景重建任务中取得了最优的结果。

    Mar, 2024

  • 基于神经有向距离场的结构光系统深度重建

    我们介绍了一种新颖的基于神经隐式表示法的多帧结构光设置深度估计技术。通过自我监督的可微分渲染训练神经符号距离场（SDF）。与被动视觉不同，我们利用结构光系统中通过投影模式已知的辐射场，实现几何场的独立优化，确保固定设备定位下的收敛性和网络有效性。为了提高几何保真度，我们在训练过程中引入了基于物体表面的额外颜色损失。实际实验表明，我们的方法在少样本情景下在几何性能上具有优越性，并且在增加模式可用性的情况下实现了可比较的结果。

    May, 2024

  • H2O-SDF: 使用物体表面场的二阶段学习进行 3D 室内重建

    我们介绍了一种新颖的两阶段学习方法，H2O-SDF，用于区分室内环境中的对象和非对象区域。该方法在保持房间布局的几何完整性的同时，捕捉特定对象的复杂表面细节。我们的方法的核心是引入了一种名为对象表面场（OSF）的新概念，用于解决先前阻碍其他方法捕捉高频细节的持续消失梯度问题。通过多个实验，包括消融研究，验证了我们提出的方法。

    Feb, 2024

  • 无 3D 监督的多视角图像神经三维场景重建

    本文提出了一种新的神经重建方法，使用可访问的 2D 图像作为监督来进行 3D 场景重建，其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建，并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。

    Jun, 2023

  • DebSDF: 研究神经室内场景重建的细节和偏差

    本文提出了 DebSDF，旨在解决多视角图像室内场景中由于纹理缺乏和领域差异导致的误差问题，并通过不确定性建模、重要性引导射线采样以及有偏的密度变换等方法改进了细节重建，实验证明了其在重建室内场景中细结构方面的优越性。

    Aug, 2023

  • GSDF：3DGS 引入 SDF 以提升渲染与重构

    提出了一种新的双分支结构 GSDF，它将 3D 高斯喷洒（3DGS）表示法的灵活和高效与神经符号距离场（SDF）相结合，通过相互指导和联合监督来缓解它们的局限性，并在各种场景上展示了我们的设计能够更准确、更详细地重建表面，并同时使 3DGS 渲染受益于与底层几何更加一致的结构。

    Mar, 2024

  • 复杂立面的空中三维扫描的整体逆渲染

    使用多视角航拍图像，通过神经符号距离场重建立面的几何形状、光照和材质，从而实现基于物理和照片般逼真的新视角渲染、重照和编辑。通过引入三种自适应优化策略，包括基于零样本分割技术的语义正则化方法来改善材料一致性，基于频率感知的几何正则化来平衡不同表面的表面光滑性和细节，以及基于可见性探针的方案来实现大规模户外环境中局部照明的有效建模。实验结果通过与最先进的基线方法进行比较，展示了我们的方法在立面整体反渲染、新视角合成和场景编辑方面的卓越质量。

    Nov, 2023