SG-NN: 面向自监督 RGB-D 扫描场景补全的稀疏生成神经网络
SPSG 是一种新颖的方法,通过学习自我监督方式推断未观测到的场景几何和颜色信息,结合技术对二维渲染图像进行对抗和感知损失计算,直接生成高质量的有色三维场景模型,在合成和实际数据上性能优于现有技术。
Jun, 2020
本研究提出了一种可扩展的框架,用于从具有大部分不完整场景覆盖的 RGB-D 图像中合成新视图。 通过一种稀疏网格神经场景表示学习得到的场景分布对未观察到的场景部分进行完成。 最终,本方法的图形输出在未观察到的场景部分方面优于现有技术。
Jul, 2022
使用密集 - 稀疏 - 密集的设计,采用几何先验和占据信息,从语义感知和占据感知种子体素中扩散语义,实现基于相机的语义场景完成 (SSC) 框架。在 SemanticKITTI 数据集上的实验结果表明,该方法优于现有的最先进方法。
Dec, 2023
提出了 SGRec3D,这是一种用于预先训练三维场景图预测的新方法,无需对象关系标签,可以利用大规模三维场景理解数据集进行训练。在细调期间只使用 10% 标记数据集便可优于未进行预先训练的模型。
Sep, 2023
本研究提出了针对稀疏深度图的深度补全方法,采用深度回归学习模型,通过自监督训练框架实现对稀疏深度图的快速、精准深度补全,实验结果表明本方法在 KITTI 深度补全基准测试中获得了最佳结果。
Jul, 2018
通过自我监督的方法,基于体素有符号距离函数(voxel-SDF)实现了对室内场景的单目 RGB 视图下的 3D 网格重构,并且在实验中表现出与全监督模型和自监督室内深度估计模型相当的水平。
Apr, 2024
本文提出了一种新的神经重建方法,使用可访问的 2D 图像作为监督来进行 3D 场景重建,其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建,并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。
Jun, 2023
我们提出了一种名为 S4C 的第一种自我监督方法,不依赖于 3D 完整数据,能够从单张图像中重建场景,并且只依赖于视频和训练期间从现成图像分割网络生成的伪分割地面实况。与现有方法不同,我们将场景表示为隐式语义场,通过渲染为基础的自我监督损失训练我们的架构,取得了接近完全监督最新方法的性能,并且表现出强大的泛化能力,可以为远距离视点合成准确的分割地图。
Oct, 2023
ScanComplete 采用数据驱动方法,输入不完整的 3D 扫描场景数据,预测出完整的 3D 模型并附带像素级语义标签,主要贡献在于处理空间范围不同的大型场景,并且在完成质量和语义分割性能等方面都显著优于其他方法。
Dec, 2017
本研究提出了一种基于 3D 感知特征和多视角几何一致性的高精度自监督深度完成方法,通过构建 3D 感知空间传播算法和引入多视角几何约束,实现了无监督下的高精度深度完成,并在 NYU-Depthv2 和 VOID 等评测数据集上取得与有监督方法相媲美的性能。
Dec, 2023