Jul, 2024

DuInNet:用于点云补全的双模态特征交互

TL;DR为了进一步推动多模态点云补全的发展,我们贡献了一个大规模多模态点云补全基准 ModelNet-MPC,它包含了近 40 个类别的近 400,000 对高质量点云和渲染图像。除了完全监督的点云补全任务,ModelNet-MPC 还提出了两个附加任务,包括去噪补全和零样本学习补全,以模拟现实世界场景并验证当前方法对噪声和类别之间的迁移能力的稳健性。同时,考虑到现有的多模态补全流水线通常采用单向融合机制并忽略了图像模态中所包含的形状先验,我们在本文中提出了一个双模态特征交互网络(DuInNet)。DuInNet 在点云和图像之间迭代地相互交互特征,以学习形状的几何和纹理特征。为了适应完全监督、去噪和零样本学习等特定任务,提出了一种自适应的点生成器,用不同权重为这两个模态生成完整的点云。在 ShapeNet-ViPC 和 ModelNet-MPC 基准测试上进行的大量实验证明,DuInNet 在所有补全任务中优于现有方法,具有优越性、稳健性和迁移能力。代码和数据集即将发布。