Dec, 2023
Slice3D: 多切片，揭示遮挡物，单视点 3D 重建
Slice3D: Multi-Slice, Occlusion-Revealing, Single View 3D Reconstruction
Yizhi Wang, Wallace Lira, Wenqi Wang, Ali Mahdavi-Amiri, Hao Zhang
TL;DR我们介绍了多切片推理，这是一种新的单视图 3D 重建概念，挑战了多视图综合是单视图和 3D 之间最自然的桥梁的当前和普遍的观念。我们的关键观察是，通过物体切片来揭示被遮挡的结构比改变视角更有优势。具体而言，切片能够更好地揭示遮挡物，因为它可以在没有阻碍的情况下穿过任何遮挡物。在极限情况下，即使用无限多个切片，它能够揭示所有隐藏的物体部分。我们通过开发名为 Slice3D 的新方法来实现我们的想法，该方法首先从单个 RGB 图像预测多个切片图像，然后使用基于坐标的转换网络将这些切片集成到 3D 模型中以进行有符号距离预测。切片图像可以通过 U-Net 网络进行回归或生成。对于前者，我们通过注入可学习的切片指示器代码将每个解码图像指定到一个空间切片位置，而切片生成器是在输入通道上堆叠的切片图像的去噪扩散模型。我们进行了广泛的评估，与最先进的替代方法进行了比较，以展示我们方法在恢复复杂且严重遮挡的形状结构中的优越性，尤其是在存在歧义的情况下。所有 Slice3D 的结果都是由在单个 Nvidia A40 GPU 上训练的网络产生的，推理时间不到 20 秒。