Jul, 2024

DuInNet：用于点云补全的双模态特征交互

HTML
PDF
TL;DR为了进一步推动多模态点云补全的发展，我们贡献了一个大规模多模态点云补全基准ModelNet-MPC，它包含了近40个类别的近400,000对高质量点云和渲染图像。除了完全监督的点云补全任务，ModelNet-MPC还提出了两个附加任务，包括去噪补全和零样本学习补全，以模拟现实世界场景并验证当前方法对噪声和类别之间的迁移能力的稳健性。同时，考虑到现有的多模态补全流水线通常采用单向融合机制并忽略了图像模态中所包含的形状先验，我们在本文中提出了一个双模态特征交互网络（DuInNet）。DuInNet在点云和图像之间迭代地相互交互特征，以学习形状的几何和纹理特征。为了适应完全监督、去噪和零样本学习等特定任务，提出了一种自适应的点生成器，用不同权重为这两个模态生成完整的点云。在ShapeNet-ViPC和ModelNet-MPC基准测试上进行的大量实验证明，DuInNet在所有补全任务中优于现有方法，具有优越性、稳健性和迁移能力。代码和数据集即将发布。
发现论文，激发创造
  • 一种基于条件点扩散细化的三维点云完整性修复范式

    本文提出了一种基于点扩散和精化的点云补全范式，其中条件生成网络使用去噪扩散概率模型生成粗糙补全， 精修网络进一步改进完成后的点云的质量，并开发了一个新的双向路径架构。 这种架构既能从部分观察到的点云中有效地提取多级特征以指导补全，也能准确地操纵三维点的空间位置以获得光滑的表面和清晰的细节。通过广泛的实验，证明了本文提出的方法在点云完成方面优于以往的最先进方法。值得注意的是，在精细网络的帮助下，我们可以将DDPM的迭代生成过程加速50倍，而不会影响其性能。

    Dec, 2021

  • SoftPool++:一种点云补全的编码解码网络

    我们提出了一种新的卷积算子，用于点云完成的任务。我们的方法的一个显著特点是与相关工作相反，它不需要任何最大池化或体素化操作。我们的算子不断提取具有置换不变性的特征，以保留细粒度的几何细节，通过对特征激活的软池化，从而学习编码器中的点云嵌入。通过特定设计的跳跃连接，将对应层之间的链接建立在编码器和解码器之间，以克服这类结构常见的限制，同时在点云完成任务中达到了最佳性能。

    May, 2022

  • FBNet:适用于点云补全的反馈网络

    本文提出了一种新的反馈网络（FBNet）用于点云完整性修复，通过用细粒度特征改进粗略形状的生成，并利用交叉注意力策略来修正现有的特征。在多个数据集上进行的定量和定性实验表明，FBNet在点云修复任务上的性能比现有最先进的方法更优。

    Oct, 2022

  • AdaPoinTr: 自适应几何感知Transformer的多样化点云完形填空

    本文提出了一种新的方法，将点云补全问题转化为集合转换问题，并设计了一种名为PoinTr的新模型，采用Transformer编码器-解码器架构进行点云补全。通过将点云表示为带有位置嵌入的无序点组的集合，我们将输入数据转换为点代理的序列，并使用Transformer进行生成。为了更好地利用点云的3D几何结构的归纳偏差，我们进一步设计了一个几何感知块，以显式模拟本地几何关系。我们还进一步提出了AdaPoinTr，并在点云完成期间开发了自适应查询生成机制和新颖的去噪任务，实现了模型的高效和有效训练。我们还展示了我们的方法可以扩展到场景级点云完成方案，并设计了一种新的几何增强语义场景完成框架。我们的方法在现有和新提出的数据集上进行了大量实验证明其有效性，获得了6.53CD的PCN，0.81CD的ShapeNet-55和0.392MMD的真实KITTI，在各种基准测试中均超过了其他工作，并建立了新的技术水平。值得注意的是，AdaPoinTr可以以更高的吞吐量和更少的FLOP实现如此令人满意的性能，而不像以前的最佳方法。

    Jan, 2023

  • DualGenerator: 基于信息交互的生成网络用于点云补全

    本研究提出了一种基于信息交互的生成式网络，用于点云的完整性补全，并引入了本地细化模块和DGStyleGAN，以捕捉局部结构和提高网络的鲁棒性和生成质量。经定量和定性测试，证明了该方法在MVP和Completion3D数据集方面的表现优异，并且在加入噪声干扰或稀疏抽样后，性能不会显著降低。

    May, 2023

  • 基于CLIP模型的细粒度文本和图像引导的点云补全

    本文提出了一种新颖的多模态融合网络用于点云补全，该网络可以同时融合视觉和文本信息，有效预测不完整形状的语义和几何特征，并通过多阶段特征融合策略将文本和视觉特征渐进地融入骨干网络，同时借助精细化的文本描述进一步探索点云补全的有效性，通过广泛的定量和定性实验证明我们方法相比最先进的点云补全网络具有更优越的性能。

    Aug, 2023

  • 旋转不变补全网络

    本文提出了一种名为Rotation-Invariant Completion Network (RICNet)的网络，它由两个部分组成：双流水线完成网络(DPCNet)和增强模块。RICNet在特征提取方面实现了更好的旋转不变性，并结合了人造对象的结构关系。实验证明，与现有方法相比，RICNet在点云的完成性能上表现出更好的表现。

    Aug, 2023

  • P2M2-Net：基于部件感知的引导式多模态点云补全

    我们提出了一个基于提示的点云补全框架，名为P2M2-Net，用于更可控和多样化的形状补全。通过使用Transformer模型，我们的框架能够高效地融合多模态特征并按照提示指导生成多样化的结果。我们在一个新的大规模PartNet-Prompt数据集上训练P2M2-Net，并在两个具有挑战性的形状补全基准上进行了广泛实验。定量和定性结果表明了引入提示进行更可控的部分感知点云补全和生成的有效性。

    Dec, 2023

  • DMF-Net：基于双通道模态融合和形状感知上采样变换的图像导向点云补全

    我们提出了一种新颖的双通道模态融合网络（DMF-Net），用于图像引导的点云完成任务，在粗到精的方式下，通过将图像和部分点云一起输入网络进行模态融合，从而实现点云的恢复和补全，实验结果表明DMF-Net在ShapeNet-ViPC数据集上的性能优于现有的单模态和多模态点云完成方法。

    Jun, 2024

  • 自我监督的多视角对抗学习下的三维点云补全

    在不需要完备地面真实数据的情况下，使用单个部分点云对象，我们提出了MAL-SPC，一个能够有效利用物体级和类别特定几何相似性来完成缺失结构的框架。通过引入 Pattern Retrieval Network 来提取部分输入和预测形状之间的相似位置和曲率模式，然后利用这些相似性来密集化和优化重建结果。此外，我们将重建完成的形状渲染为多视角深度图，并设计了一个对抗学习模块，从类别特定的单视角深度图像中学习目标形状的几何结构。为了实现各向异性渲染，我们设计了一种密度感知半径估计算法来提高渲染图像的质量。与现有最先进的方法相比，我们的 MAL-SPC 取得了最佳的结果。我们将在此网址公开提供源代码。

    Jul, 2024