Jul, 2024

自我监督的多视角对抗学习下的三维点云补全

HTML
PDF
TL;DR在不需要完备地面真实数据的情况下，使用单个部分点云对象，我们提出了MAL-SPC，一个能够有效利用物体级和类别特定几何相似性来完成缺失结构的框架。通过引入 Pattern Retrieval Network 来提取部分输入和预测形状之间的相似位置和曲率模式，然后利用这些相似性来密集化和优化重建结果。此外，我们将重建完成的形状渲染为多视角深度图，并设计了一个对抗学习模块，从类别特定的单视角深度图像中学习目标形状的几何结构。为了实现各向异性渲染，我们设计了一种密度感知半径估计算法来提高渲染图像的质量。与现有最先进的方法相比，我们的 MAL-SPC 取得了最佳的结果。我们将在此网址公开提供源代码。
发现论文，激发创造
  • 利用自监督形状与姿态网络从图像集合转换为点云

    提出了一种深度学习技术，用于从单个图像进行三维物体重建。与以往的方法不同的是，该方法使用只有单一视角的图像进行训练，并具有自我监督学习能力，可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。

    May, 2020

  • 自我监督的点云补全级联优化网络

    提出了一种基于两个分支的神经网络，用于点云的完形填充，其中第一个分支是连锁的对象完形子网络，第二个分支是一个自编码器，共同利用局部输入和粗糙输出来保留对象细节，并使用相同的特征提取器学习形状完形的全局特征，实验结果表明，该方法在点云完形填充任务上的效果超越了现有技术的方法。

    Oct, 2020

  • 基于修补的自监督点云补全

    本文通过自监督学习中的修补法算法 PointPnCNet，使用 LiDAR 数据进行点云补全，以解决遮挡问题，我们的方法在 ShapeNet 和 Semantic KITTI 的数据集中，表现优于前人的无监督和弱监督方法。

    Nov, 2021

  • PointAttN: 点云补全只需注意力

    利用跨注意力机制和自我关注机制设计新型神经网络PointAttN，消除了现有方法中局部区域划分对点云密度分布敏感的问题，其在处理点云的过程中以点为基本单位进行计算，以简单而有效的方式直接建立点之间的短程和长程结构关系，因此可以精确地捕捉三维形状的结构信息，并预测具有高度详细几何形状的完整点云。PointAttN在Completion3D和PCN等流行基准测试中优于现有技术的表现，代码可在 https URL 上获取。

    Mar, 2022

  • 利用单视图图像进行无监督三维点云补全

    本文提出了一种无监督的点云补全方法，不需要3D补全点云，只利用2D补全图像，使用单视角RGB图像提取2D特征，并使用融合模块将其与部分点云提取的3D特征相结合，以预测物体的完整形状。

    Dec, 2022

  • 自监督学习用于预训练3D点云：综述

    本研究综述了使用深度神经网络实现无监督点云表示学习的方法，解决在人工标注数据量有限的问题。研究挖掘了常用数据集和评估指标，提出了基于这些技术的自监督点云表示学习方法的广泛应用，并指出未来可能面临的挑战和潜在问题。

    May, 2023

  • 自监督对抗性遮掩在3D点云表示学习中的应用

    介绍了一种新型的自对抗方法 PointCAM，用于学习 3D 点云的遮罩函数，相较于之前的方法取得了更优秀的结果。

    Jul, 2023

  • SVDFormer: 自视角增强和自结构双生成器补充点云

    本文介绍SVDFormer，一种创新的网络用于解决点云完成中的两个具体挑战：从不完全的点云中理解忠实的整体形状和生成高精度的局部结构。

    Jul, 2023

  • P2C: 来自单个部分点云的无监督点云补全

    Point cloud completion using a self-supervised framework called Partial2Complete (P2C) that utilizes incomplete point clouds to predict masked patches by learning prior information from different partial objects, incorporating a region-aware chamfer distance and a normal consistency constraint, and demonstrating comparable results to methods trained with complete shapes.

    Jul, 2023

  • P2M2-Net：基于部件感知的引导式多模态点云补全

    我们提出了一个基于提示的点云补全框架，名为P2M2-Net，用于更可控和多样化的形状补全。通过使用Transformer模型，我们的框架能够高效地融合多模态特征并按照提示指导生成多样化的结果。我们在一个新的大规模PartNet-Prompt数据集上训练P2M2-Net，并在两个具有挑战性的形状补全基准上进行了广泛实验。定量和定性结果表明了引入提示进行更可控的部分感知点云补全和生成的有效性。

    Dec, 2023