ICCVFeb, 2022

Skip-Transformer 技术用于点云补全与生成的雪花点反卷积

PDF
TL;DR本文提出了一种基于 SnowflakeNet 和雪花点反卷积 (SPD) 的点云完成方法，该方法能精确展现局部区域的三维形态特征，并且在其他生成任务（如点云自编码、生成、单张图像重建和上采样）中效果优于现有的最佳方法。
发现论文，激发创造
  • SnowflakeNet: 通过跳过变换器使用雪花点解卷积完成点云补全

    本文介绍了一种名为 SnowflakeNet 的点云完成算法，采用 Snowflake Point Deconvolution (SPD) 来生成完整的点云，通过引入 skip-transformer 和 SPD 来学习最佳匹配局部区域的点分割模式，生成具有结构性和精细几何细节的点云，实验结果表明该方法优于现有的点云完成方法。

    Aug, 2021

  • SoftPool++: 一种点云补全的编码解码网络

    我们提出了一种新的卷积算子，用于点云完成的任务。我们的方法的一个显著特点是与相关工作相反，它不需要任何最大池化或体素化操作。我们的算子不断提取具有置换不变性的特征，以保留细粒度的几何细节，通过对特征激活的软池化，从而学习编码器中的点云嵌入。通过特定设计的跳跃连接，将对应层之间的链接建立在编码器和解码器之间，以克服这类结构常见的限制，同时在点云完成任务中达到了最佳性能。

    May, 2022

  • 渐进式点云解卷积生成网络

    本论文提出了一种有效的点云生成方法，从潜在向量中生成相同形状的多分辨率点云；使用新颖的渐进去卷积网络和基于学习的双边插值，从低分辨率点云开始，通过级联的去卷积层逐渐输出高分辨率的局部和全局特征 maps，使用多层感知器作为生成网络生成多分辨率点云，并提出了形状保持对抗损失来训练点云去卷积生成网络，实验结果表明了方法的有效性。

    Jul, 2020

  • SoftPoolNet: 点云完形与分类的形状描述器

    本文提出了基于点云的 3D 对象完成和分类方法，其中引入了一种称为软池化的提取特征的新方式和区域卷积的解码器阶段，该方法可与许多点云架构（如 AtlasNet 和 PCN）结合使用，并在物体完成和分类等 3D 任务上取得了最新的准确性

    Aug, 2020

  • PoinTr: 基于几何感知 Transformer 的多样化点云完成

    该论文提出了一种新方法 PoinTr，将点云补全问题重新构造为集合对集合翻译问题，并采用 Transformer 编码器 - 解码器架构。通过使用定位嵌入在无序点组中表示点云，我们将点云转换为点代理序列，并使用变形器进行点云生成。在点云的局部几何关系中，我们进一步设计了一种几何感知块以更好地利用点云的 3D 几何结构归纳偏差，使得变形器能够更好地学习结构知识和保留详细信息，从而完善点云。此外，我们提出了两个具有更多不完整点云的具有挑战性的基准测试，以更好地反映现实世界的情况。实证结果表明，我们的方法在新的基准测试和现有基准测试上均优于现有最先进的方法。

    Aug, 2021

  • 深度点云重建

    该研究提出了一种基于深度学习的点云重建网络，采用两个阶段进行密集化、去噪和点云完整性重建，其中使用了变换器进行离散体素向 3D 点的转换，同时提出了放大位置编码模块以优化变换器，实现在 3D 扫描建模领域的最新水平。

    Nov, 2021

  • 基于风格的点云生成器与对抗渲染用于点云补全

    本文提出了一种新型样式点生成器（SpareNet），通过具有通道注意性的 EdgeConv 来充分利用点特征中的局部结构和全局形状，将形状特征视为风格代码，以调节折叠过程中的标准化层，提高了其生成复杂和忠实形状的能力，然后将完成的点投影到深度图中并应用对抗性训练来在不同视点下提倡感知逼真度。在 ShapeNet 和 KITTI 上的全面实验验证了我们方法的有效性，展现了超过其他方法的视觉质量和量化性能。

    Mar, 2021

  • AdaPoinTr: 自适应几何感知 Transformer 的多样化点云完形填空

    本文提出了一种新的方法，将点云补全问题转化为集合转换问题，并设计了一种名为 PoinTr 的新模型，采用 Transformer 编码器 - 解码器架构进行点云补全。通过将点云表示为带有位置嵌入的无序点组的集合，我们将输入数据转换为点代理的序列，并使用 Transformer 进行生成。为了更好地利用点云的 3D 几何结构的归纳偏差，我们进一步设计了一个几何感知块，以显式模拟本地几何关系。我们还进一步提出了 AdaPoinTr，并在点云完成期间开发了自适应查询生成机制和新颖的去噪任务，实现了模型的高效和有效训练。我们还展示了我们的方法可以扩展到场景级点云完成方案，并设计了一种新的几何增强语义场景完成框架。我们的方法在现有和新提出的数据集上进行了大量实验证明其有效性，获得了 6.53CD 的 PCN，0.81CD 的 ShapeNet-55 和 0.392MMD 的真实 KITTI，在各种基准测试中均超过了其他工作，并建立了新的技术水平。值得注意的是，AdaPoinTr 可以以更高的吞吐量和更少的 FLOP 实现如此令人满意的性能，而不像以前的最佳方法。

    Jan, 2023

  • 基于分层折叠的跳过注意力网络的点云补全

    本文提出了一种 Skip-Attention Network（SA-Net）算法，以增强点云补全任务中原始点云局部结构信息的提取过程，该算法通过 skip-attention 机制实现选取不同分辨率下不同局部结构信息的编码。实验表明，SA-Net 算法在形状完整性生成上的性能好于当前的措施。

    May, 2020

  • 云变压器：点云处理任务的通用方法

    我们提出了一种新的深度点云处理架构的多功能建筑块，该建筑块将空间转换器和多视图卷积网络的思想与二维和三维密集网格中标准卷积层的效率相结合，实现信息的多个并行头的协同作业，以更新点特征，取得了点云处理方面生成和判别任务的最新成果。

    Jul, 2020