3D-PSRNet: 由单张图像重建部分分割的 3D 点云
使用深度神经网络从单一图像中重建 3D 点云坐标,设计了面对真实世界几何转换不变性和地面真实性模糊的问题的新型方法,包括条件形状采样器,能够预测多个可能的 3D 点云。在实验中表现优异,不仅在单图像 based 3D 重建基准测试中胜过现有技术,也在形状补全方面表现出强大性能,有望在多个可能性预测方面表现出色。
Dec, 2016
提出了一种深度学习技术,用于从单个图像进行三维物体重建。与以往的方法不同的是,该方法使用只有单一视角的图像进行训练,并具有自我监督学习能力,可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。
May, 2020
针对 3D 点云的分割问题,我们提出了一种新的点云分割框架,该框架能有效地优化整个场景的像素级特征,几何结构和全局上下文先验。实验结果表明,该方法优于现有的一些最先进的方法,并探讨了在三维重建场景中合成相机姿态以获得更高的性能。
Aug, 2019
我们设计了一种新的零样本三维部分分割流水线 ZeroPS,它可以将二维预训练基础模型的知识高质量地传递到三维点云中。我们的方法主要基于多视图对应和基础模型的提示机制之间的自然关系,并在此基础上建立桥梁。我们的流水线包括两个组件:1) 自扩展组件,将单个视角的二维组扩展到三维全局级组;2) 多模态标记组件,引入二维检查机制,将每个二维预测的边界框投票至最佳匹配的三维部件,并使用类非最高投票惩罚函数来优化投票矩阵。此外,还包括一种合并算法来合并部件级的三维组。在 PartnetE 数据集上对三个零样本分割任务进行了广泛评估,相比现有方法,取得了显著改进的最新成果(分别提高了 19.6%,5.2%和 4.9%)。我们的方法不需要任何训练、微调或可学习参数,并且几乎不受领域变化的影响。代码将公开发布。
Nov, 2023
本文提出了一种基于球形图像的实时端到端语义分割方法 PointSeg,它以从 3D LiDAR 点云转换来的球形图像为输入,并利用卷积神经网络(CNNs)来预测点级语义映射,它采用了轻量级网络 SqueezeNet 进行模型构建,并在 KITTI 3D 目标检测数据集上进行了训练,实验结果表明在单个 GPU 1080ti 上可达到每秒 90 帧的竞争精度,适用于自动驾驶应用。
Jul, 2018
本文提出了一种用于 3D 点云的多任务点位网络,实现了语义和实例分割,并比较了不同数据集上的表现。与单一组件相比,我们的方法表现出了更好的鲁棒性和语义分割性能,使用了多值条件随机场进行语义与实例标签联合优化。
Apr, 2019
我们提出了一种自监督的,单视图三维重建模型,通过 2D 图像和物体的轮廓预测目标物体的 3D 网格形状、纹理和相机姿势,该方法不需要三维监督,手动注释的关键点,物体的多视图图像或先前的 3D 模板,通过自监督地学习分类特定图像的部分分割,我们可以在重建网格与原始图像之间有效强制实现语义一致性,从而大大减少了模型在预测物体形状、纹理和相机姿态时的歧义,并且我们的模型可以不需要这些标签而轻松地推广到各种物体类别。
Mar, 2020
我们提出了一种名为 Self-Prediction 的学习模式,用于处理点云的三维实例和语义分割问题。我们的方法强调了点关系探索方面的新学习模式,与大多数现有方法不同,该方法通过自我预测任务来训练骨干网络,从而使模型更好地探索关系、几何和形状信息并学习更具有区分性的特征进行分割,实现了在 S3DIS 和 ShapeNet 上实例分割结果的最先进性,并只使用 PointNet ++ 作为骨干网络时与现有技术的语义分割结果相当。
Jul, 2020
Part123 是一种新颖的从单视图图像进行部分感知三维重建的框架,通过扩散模型生成多视角一致图像,并利用 Segment Anything Model (SAM) 生成多视角分割蒙版,然后通过对比学习将 2D 基于部分信息有效地结合到三维重建中,实验结果表明该方法可以在各种物体上生成具有高质量分割部分的三维模型,相较于现有无结构重建方法,该方法产生的部分感知三维模型对于特征保持重建、基本形状拟合和三维形状编辑等重要应用有益。
May, 2024