Dec, 2023

P2M2-Net：基于部件感知的引导式多模态点云补全

PDF
TL;DR我们提出了一个基于提示的点云补全框架，名为 P2M2-Net，用于更可控和多样化的形状补全。通过使用 Transformer 模型，我们的框架能够高效地融合多模态特征并按照提示指导生成多样化的结果。我们在一个新的大规模 PartNet-Prompt 数据集上训练 P2M2-Net，并在两个具有挑战性的形状补全基准上进行了广泛实验。定量和定性结果表明了引入提示进行更可控的部分感知点云补全和生成的有效性。
point cloudsshape completioncontrollabilityprompt guidancetransformer-based completion network
发现论文，激发创造
  • P2C: 来自单个部分点云的无监督点云补全

    Point cloud completion using a self-supervised framework called Partial2Complete (P2C) that utilizes incomplete point clouds to predict masked patches by learning prior information from different partial objects, incorporating a region-aware chamfer distance and a normal consistency constraint, and demonstrating comparable results to methods trained with complete shapes.

    Jul, 2023

  • DMF-Net：基于双通道模态融合和形状感知上采样变换的图像导向点云补全

    我们提出了一种新颖的双通道模态融合网络（DMF-Net），用于图像引导的点云完成任务，在粗到精的方式下，通过将图像和部分点云一起输入网络进行模态融合，从而实现点云的恢复和补全，实验结果表明 DMF-Net 在 ShapeNet-ViPC 数据集上的性能优于现有的单模态和多模态点云完成方法。

    Jun, 2024

  • PMP-Net++：基于 Transformer 增强的多步点移动路径，点云完整化

    本文提出了一种用于点云补全和上采样的新型神经网络 PMP-Net++，该网络通过点云的形变过程实现补全。 Transformer-enhanced representation learning 可以进一步提高 PMP-Net++ 的性能。

    Feb, 2022

  • PMP-Net: 学习多步点移动路径完成点云补全

    通过模拟地球移动的行为，在点云不完整的输入上将每个点移动以完成点云，同时保证点移动路径的总路径最短，我们设计了一种名为 PMP-Net 的新型神经网络实现点云预测。该网络在点级别上学习到了精细的拓扑结构和结构关系，并在 Completion3D 和 PCN 数据集上展示了超越现有技术的优势

    Dec, 2020

  • 多模态形状补全的条件生成对抗网络

    这篇论文提出了一种用多模式条件生成模型进行多维形状补全的方法，能够消除单一输出方法存在的不确定性以获得更多的结果。通过多个数据集的实验，证明了该方法的多样性和质量。

    Mar, 2020

  • 基于修补的自监督点云补全

    本文通过自监督学习中的修补法算法 PointPnCNet，使用 LiDAR 数据进行点云补全，以解决遮挡问题，我们的方法在 ShapeNet 和 Semantic KITTI 的数据集中，表现优于前人的无监督和弱监督方法。

    Nov, 2021

  • PoinTr: 基于几何感知 Transformer 的多样化点云完成

    该论文提出了一种新方法 PoinTr，将点云补全问题重新构造为集合对集合翻译问题，并采用 Transformer 编码器 - 解码器架构。通过使用定位嵌入在无序点组中表示点云，我们将点云转换为点代理序列，并使用变形器进行点云生成。在点云的局部几何关系中，我们进一步设计了一种几何感知块以更好地利用点云的 3D 几何结构归纳偏差，使得变形器能够更好地学习结构知识和保留详细信息，从而完善点云。此外，我们提出了两个具有更多不完整点云的具有挑战性的基准测试，以更好地反映现实世界的情况。实证结果表明，我们的方法在新的基准测试和现有基准测试上均优于现有最先进的方法。

    Aug, 2021

  • 基于 CLIP 模型的细粒度文本和图像引导的点云补全

    本文提出了一种新颖的多模态融合网络用于点云补全，该网络可以同时融合视觉和文本信息，有效预测不完整形状的语义和几何特征，并通过多阶段特征融合策略将文本和视觉特征渐进地融入骨干网络，同时借助精细化的文本描述进一步探索点云补全的有效性，通过广泛的定量和定性实验证明我们方法相比最先进的点云补全网络具有更优越的性能。

    Aug, 2023

  • Point-PC: 基于因果推断的先验知识引导的点云补全

    本研究提出了一种新的点云完整性方法 Point-PC，使用记忆网络检索形状先验，并设计了有效的因果推断模型来选择缺失的形状信息以帮助点云完整性。

    May, 2023

  • AdaPoinTr: 自适应几何感知 Transformer 的多样化点云完形填空

    本文提出了一种新的方法，将点云补全问题转化为集合转换问题，并设计了一种名为 PoinTr 的新模型，采用 Transformer 编码器 - 解码器架构进行点云补全。通过将点云表示为带有位置嵌入的无序点组的集合，我们将输入数据转换为点代理的序列，并使用 Transformer 进行生成。为了更好地利用点云的 3D 几何结构的归纳偏差，我们进一步设计了一个几何感知块，以显式模拟本地几何关系。我们还进一步提出了 AdaPoinTr，并在点云完成期间开发了自适应查询生成机制和新颖的去噪任务，实现了模型的高效和有效训练。我们还展示了我们的方法可以扩展到场景级点云完成方案，并设计了一种新的几何增强语义场景完成框架。我们的方法在现有和新提出的数据集上进行了大量实验证明其有效性，获得了 6.53CD 的 PCN，0.81CD 的 ShapeNet-55 和 0.392MMD 的真实 KITTI，在各种基准测试中均超过了其他工作，并建立了新的技术水平。值得注意的是，AdaPoinTr 可以以更高的吞吐量和更少的 FLOP 实现如此令人满意的性能，而不像以前的最佳方法。

    Jan, 2023