Mar, 2024

SurroundSDF：基于有向距离域的隐式三维场景理解

PDF
TL;DR提出 SurroundSDF 方法来通过环境图像隐式地预测连续的感知距离场 (SDF) 和语义场，通过使用基于查询的方法和 Eikonal 公式约束 SDF 以准确描述障碍物表面，并引入一种新的弱监督模式 (Sandwich Eikonal formulation) 来提高表面感知的准确性，实验证明该方法在 nuScenes 数据集上在占用预测和 3D 场景重建任务中取得了最优的结果。
vision-centric 3d environment understandingobject-free methodscontinuous perceptionsigned distance field (sdf)weakly supervised paradigm
发现论文，激发创造
  • 基于稀疏点云的无监督占据学习

    通过使用基于边界采样的方法和基于熵的优化过程，我们提出一种从稀疏输入中学习占据场的方法，并展示了该方法在隐式形状推断方面相对于基线方法和现有技术的有效性。

    Apr, 2024

  • DeepSDF：学习连续的符号距离函数以用于形状表征

    介绍了 DeepSDF 方法，它是用于高品质形状表示、插值和完成的一种学习连续有符号距离函数（SDF）的表示，将 3D 几何表示为体积场，并可表示整个形状类。DeepSDF 方法相比以往方法降低了一个数量级的模型大小，同时获得了学习 3D 形状表示和完成方面的最先进性能。

    Jan, 2019

  • ClusteringSDF：用于 3D 分解的自组织神经隐式曲面

    通过神经隐式表面表示，即信号距离函数（SDF），提出了 ClusteringSDF 方法，实现了 3D 中的分割和重建。这项研究通过高效的聚类机制将 2D 标签提升到 3D，并在 ScanNet 和 Replica 数据集上的挑战性场景中取得了与现有技术相竞争的表现，而且训练时间大大缩短。

    Mar, 2024

  • 学习符号距离场进行多视角表面重建

    本研究提出了一种基于神经隐式表达并结合立体匹配和特征保持的新型表面重建框架，使用有符号距离场和表面光场直接表示场景几何及外观，并通过优化多视角特征一致性和渲染图像的保真度来精细化表示几何形状，提高了复杂场景拓扑的重建鲁棒性，实验结果表明相较于现有最优方法，本方法在无需输入蒙版的广阔场景网格重建上具有更佳的表现。

    Aug, 2021

  • MV-DeepSDF: 自主驾驶中基于多次扫描点云的 3D 车辆重建的隐式建模

    从嘈杂和稀疏的部分点云中重建 3D 汽车对于自动驾驶非常重要。我们提出了一种名为 MV-DeepSDF 的新框架，通过估计多次扫描点云中的最优符号距离函数（SDF）形状表示来重建野外汽车。通过在潜在特征空间中分析多次扫描的一致性和互补性，并将隐式空间形状估计问题转化为元素到集合特征提取问题，我们首次探讨了多次扫描的重建。通过设计一种新的架构来提取单个元素级表示并将它们聚合生成集合级的预测潜在代码，得到隐式空间中最优 3D 形状的表达，并可以随后解码为连续的 SDF 汽车。通过对两个实际自动驾驶数据集（Waymo 和 KITTI）进行彻底实验，我们展示了我们的方法在质量和量化方面优于现有的替代方法。

    Aug, 2023

  • AiSDF: 室内场景中结构感知的神经有符号距离场

    在室内场景中，我们提出了一种基于结构感知的在线有符号距离场（SDF）重建框架，特别是在 Atlanta 世界（AW）假设下，命名为 AiSDF。通过该在线框架，我们推断给定场景的潜在 Atlanta 结构，然后估计支撑 Atlanta 结构的平面 surfel 区域，提供了给定场景的显式平面地图。此外，基于这些 Atlanta 平面 surfel 区域，我们对 SDF 重建进行自适应采样和约束结构规律性，从而在保持高层结构的同时增强给定场景的细节。我们在 ScanNet 和 ReplicaCAD 数据集上评估了提出的 AiSDF，证明了该框架能够隐式地重建对象的细节，并在房间尺度的场景中显式地重建结构。

    Mar, 2024

  • H2O-SDF: 使用物体表面场的二阶段学习进行 3D 室内重建

    我们介绍了一种新颖的两阶段学习方法，H2O-SDF，用于区分室内环境中的对象和非对象区域。该方法在保持房间布局的几何完整性的同时，捕捉特定对象的复杂表面细节。我们的方法的核心是引入了一种名为对象表面场（OSF）的新概念，用于解决先前阻碍其他方法捕捉高频细节的持续消失梯度问题。通过多个实验，包括消融研究，验证了我们提出的方法。

    Feb, 2024

  • GSDF：3DGS 引入 SDF 以提升渲染与重构

    提出了一种新的双分支结构 GSDF，它将 3D 高斯喷洒（3DGS）表示法的灵活和高效与神经符号距离场（SDF）相结合，通过相互指导和联合监督来缓解它们的局限性，并在各种场景上展示了我们的设计能够更准确、更详细地重建表面，并同时使 3DGS 渲染受益于与底层几何更加一致的结构。

    Mar, 2024

  • 无 3D 监督的多视角图像神经三维场景重建

    本文提出了一种新的神经重建方法，使用可访问的 2D 图像作为监督来进行 3D 场景重建，其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建，并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。

    Jun, 2023

  • LGSDF: 基于局部更新的连续全局有符号距离场学习

    该论文提出了一种 LGSDF 算法，通过动态更新轴对齐网格和持续自监督学习的神经网络来实现 ESDF 的隐式重建，从而构建更准确的 ESDF 地图和网格。

    Apr, 2024