Jun, 2024

DMF-Net：基于双通道模态融合和形状感知上采样变换的图像导向点云补全

HTML
PDF
TL;DR我们提出了一种新颖的双通道模态融合网络（DMF-Net），用于图像引导的点云完成任务，在粗到精的方式下，通过将图像和部分点云一起输入网络进行模态融合，从而实现点云的恢复和补全，实验结果表明DMF-Net在ShapeNet-ViPC数据集上的性能优于现有的单模态和多模态点云完成方法。
发现论文，激发创造
  • PF-Net：用于3D点云补全的点分形网络

    本文提出了基于点分形网络的学习方法Point Fractal Network（PF-Net），用于精确高保真度的点云补全，通过多尺度生成网络进行缺失点云的预测。同时，通过多阶段的补全误差和对抗损失来生成更真实的缺失区域，实验证明了该方法的有效性。

    Mar, 2020

  • 视角引导下的点云补全

    本文提出了一种基于视角引导的点云补全解决方案，通过从额外单视图图像中获取缺失的关键全局结构信息，利用依次执行有效跨模态和跨层次融合的框架，相比于现有解决方案在视角引导点云完形填空任务上取得了显著优越的结果。

    Apr, 2021

  • SoftPool++:一种点云补全的编码解码网络

    我们提出了一种新的卷积算子，用于点云完成的任务。我们的方法的一个显著特点是与相关工作相反，它不需要任何最大池化或体素化操作。我们的算子不断提取具有置换不变性的特征，以保留细粒度的几何细节，通过对特征激活的软池化，从而学习编码器中的点云嵌入。通过特定设计的跳跃连接，将对应层之间的链接建立在编码器和解码器之间，以克服这类结构常见的限制，同时在点云完成任务中达到了最佳性能。

    May, 2022

  • FBNet:适用于点云补全的反馈网络

    本文提出了一种新的反馈网络（FBNet）用于点云完整性修复，通过用细粒度特征改进粗略形状的生成，并利用交叉注意力策略来修正现有的特征。在多个数据集上进行的定量和定性实验表明，FBNet在点云修复任务上的性能比现有最先进的方法更优。

    Oct, 2022

  • AdaPoinTr: 自适应几何感知Transformer的多样化点云完形填空

    本文提出了一种新的方法，将点云补全问题转化为集合转换问题，并设计了一种名为PoinTr的新模型，采用Transformer编码器-解码器架构进行点云补全。通过将点云表示为带有位置嵌入的无序点组的集合，我们将输入数据转换为点代理的序列，并使用Transformer进行生成。为了更好地利用点云的3D几何结构的归纳偏差，我们进一步设计了一个几何感知块，以显式模拟本地几何关系。我们还进一步提出了AdaPoinTr，并在点云完成期间开发了自适应查询生成机制和新颖的去噪任务，实现了模型的高效和有效训练。我们还展示了我们的方法可以扩展到场景级点云完成方案，并设计了一种新的几何增强语义场景完成框架。我们的方法在现有和新提出的数据集上进行了大量实验证明其有效性，获得了6.53CD的PCN，0.81CD的ShapeNet-55和0.392MMD的真实KITTI，在各种基准测试中均超过了其他工作，并建立了新的技术水平。值得注意的是，AdaPoinTr可以以更高的吞吐量和更少的FLOP实现如此令人满意的性能，而不像以前的最佳方法。

    Jan, 2023

  • D-Net：利用自我注意力点搜索和可学习特征融合进行特征明显的点云学习

    本文提出 D-Net（Distinctive Network）来学习针对具有差异化的点云进行形状理解的方法，采用自注意点搜索和可学习的特征融合，实验结果显示该方法在形状理解的应用中能够取得最先进的表现。

    May, 2023

  • SVDFormer: 自视角增强和自结构双生成器补充点云

    本文介绍SVDFormer，一种创新的网络用于解决点云完成中的两个具体挑战：从不完全的点云中理解忠实的整体形状和生成高精度的局部结构。

    Jul, 2023

  • 基于CLIP模型的细粒度文本和图像引导的点云补全

    本文提出了一种新颖的多模态融合网络用于点云补全，该网络可以同时融合视觉和文本信息，有效预测不完整形状的语义和几何特征，并通过多阶段特征融合策略将文本和视觉特征渐进地融入骨干网络，同时借助精细化的文本描述进一步探索点云补全的有效性，通过广泛的定量和定性实验证明我们方法相比最先进的点云补全网络具有更优越的性能。

    Aug, 2023

  • P2M2-Net：基于部件感知的引导式多模态点云补全

    我们提出了一个基于提示的点云补全框架，名为P2M2-Net，用于更可控和多样化的形状补全。通过使用Transformer模型，我们的框架能够高效地融合多模态特征并按照提示指导生成多样化的结果。我们在一个新的大规模PartNet-Prompt数据集上训练P2M2-Net，并在两个具有挑战性的形状补全基准上进行了广泛实验。定量和定性结果表明了引入提示进行更可控的部分感知点云补全和生成的有效性。

    Dec, 2023

  • DuInNet：用于点云补全的双模态特征交互

    为了进一步推动多模态点云补全的发展，我们贡献了一个大规模多模态点云补全基准ModelNet-MPC，它包含了近40个类别的近400,000对高质量点云和渲染图像。除了完全监督的点云补全任务，ModelNet-MPC还提出了两个附加任务，包括去噪补全和零样本学习补全，以模拟现实世界场景并验证当前方法对噪声和类别之间的迁移能力的稳健性。同时，考虑到现有的多模态补全流水线通常采用单向融合机制并忽略了图像模态中所包含的形状先验，我们在本文中提出了一个双模态特征交互网络（DuInNet）。DuInNet在点云和图像之间迭代地相互交互特征，以学习形状的几何和纹理特征。为了适应完全监督、去噪和零样本学习等特定任务，提出了一种自适应的点生成器，用不同权重为这两个模态生成完整的点云。在ShapeNet-ViPC和ModelNet-MPC基准测试上进行的大量实验证明，DuInNet在所有补全任务中优于现有方法，具有优越性、稳健性和迁移能力。代码和数据集即将发布。

    Jul, 2024