VisFusion:基于可见性的在线视频三维场景重建
本文提出了基于特征体积的实时密集重建方法,采用稀疏的深度特征体积来预测 TSDF 值,通过多视角图像聚合细节信息进行时序融合,实现了比以往更高分辨率和更完整细节的三维几何图形重建,其在室内和室外场景中都比现有的方法具有更好的实时重建性能。
May, 2023
TransformerFusion 是一种基于 Transformer 的 3D 场景重建方法,通过 Transformer 网络处理输入的单眼 RGB 视频,将观察结果融合为代表场景的体积特征网格,最终解码为隐式的 3D 场景表示,实现精准的场景面貌恢复与重建。
Jul, 2021
本文介绍了名为 NeuralRecon 的新型框架,可实时从单目视频中重建 3D 场景。该系统采用基于学习的 TSDF 融合模块,通过神经网络直接逐个重建局部表面,从而捕捉局部平滑性先验和全局形状先验,实现高精度,连贯和实时的表面重建。实验结果表明,该系统在准确性和速度方面均优于现有的方法。这是首个能够在实时情况下重建连贯稠密 3D 几何模型的基于学习的系统。
Apr, 2021
本文介绍了一种利用深度神经网络复制传统的 local depth maps calculation 和 global depth maps fusion 两步骤框架,以改善对 3D 场景重建精度和可解释性的计算机视觉任务方法。此外,作者还提出了一种称为 PosedConv 的旋转不变的 3D 卷积核,用于提高从非常不同视角获取的图像之间的匹配效率。作者在 ScanNet 数据集上进行了大量实验证明提出的方法在深度神经网络和传统计算机视觉技术中具有竞争力。
Aug, 2021
提出了一种从无结构点云中重建网格的新框架,通过利用虚拟视图中三维点的可见性和基于传统图割的网格生成。与其他基于学习的方法相比,该方法只在二维二分类任务上进行学习,更加普适和实用。实验表明,在小型复杂物体上,该方法具有良好的可传递性和鲁棒性,并与最先进的学习方法相比具有竞争优势,并且在大型室内和室外场景中表现出色。
Aug, 2021
通过学习条件于相机姿态和图像内容的视图融合功能,利用变压器提出端到端体积三维重建网络 VoRTX,其模型鲁棒性强,处理视角多样,能保留更多的细节信息,比现有最先进方法更出色。
Dec, 2021
Open-Fusion 是一种实时的、开放词汇的 3D 地图创建方法,利用 RGB-D 数据进行场景重建,并结合预训练的视觉 - 语言模型(VLFM)和 Truncated Signed Distance Function (TSDF) 技术,实现无需额外训练的开放词汇 3D 分割,同时提供实时的场景理解和目标语义。
Oct, 2023
本文提出了一种新颖的在线深度图融合方法,该方法使用潜在特征空间学习深度图聚合,并通过附加的翻译器网络在场景表示和输出场景表示之间分离,该方法适用于处理高噪声等异常值,实验结果表明,与现有技术相比,在处理大量噪声和异常值的挑战性场景中获得了改进。
Nov, 2020
通过多视角深度估计方法实现了精确简易的三维重建,在 ScanNet 和 7-Scenes 等数据集上的效果已经超过目前最先进的深度估计算法。
Aug, 2022
本文通过重新审视三维网格的经典多视图表示方法,研究了几种技术,使其可用于三维语义网格的语义分割。给定一个从 RGBD 传感器重建的三维网格,本文方法有效地选取不同的虚拟视图,并渲染多个二维通道,以训练出有效的二维语义分割模型;最终将多视讯预测的特征融合到三维网格顶点上,预测网格语义分割标签。
Jul, 2020