3D-LatentMapper:三维形状的视角无关的单视图重建
本文提出了一种新的深度几何学习方法,通过构建保留欧几里得空间结构的三维潜在空间,可以提高网络在形状识别和重建上的性能,并且在 ShapeNet 和真实世界数据集上表现优于目前最先进的方法,并且能够自然而然地扩展到多视角重建。
Jun, 2020
本文提出了一种名为 3D Volume Transformer(VolT)的新框架,将多视角 3D 重建转化成了序列到序列的预测问题,并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上,我们的方法比其他基于 CNN 的方法使用更少的参数(减少了 70%),实现了新的多视角重建的最新精度。
Mar, 2021
通过视角选择和分层提示的策略,本研究旨在改进预训练模型在零样本三维形状识别中的信心,实现无需额外训练的令人印象深刻的分类准确性。
Nov, 2023
通过学习条件于相机姿态和图像内容的视图融合功能,利用变压器提出端到端体积三维重建网络 VoRTX,其模型鲁棒性强,处理视角多样,能保留更多的细节信息,比现有最先进方法更出色。
Dec, 2021
该论文提出了一种名为 SRT 的方法,用于从少量 RGB 图像中推断出 3D 场景表示,并在单个前向传递过程中合成新视图,使其超越了最近的基线。
Nov, 2021
本篇论文提出了一个双管齐下的方法来解决单视图图像的三维重建问题,引入数据先验的概念并设计了 3D-LMNet,使用潜在嵌入匹配的方法进行三维重建,在概率潜在空间中学习多个与输入视图一致的重建结果,使用新颖的视图分化损失函数实现不同角度的多方案三维重建,实验证明该方法在真实和合成数据集上的性能均超过了现有技术。
Jul, 2018
利用 LIST 神经网络架构,借助局部和全局图像特征,精确地从单张图像中重建 3D 物体的几何和拓扑结构,既可以预测目标物体的粗糙形状,又能通过隐式预测器准确地预测任意点与目标表面之间的有向距离,模型在重建合成和真实世界图像中的 3D 物体方面表现出卓越的优势。
Jul, 2023
本文提出 ShapeHD,将深度生成模型与马赛克技术相结合,解决了单视角 3D 形状补全和重建的两个层面的问题,并在多个真实数据集上取得了比现有技术领先很多的表现。
Sep, 2018
最近,基于视图的三维形状识别方法的结果已经饱和,而具有出色性能的模型由于参数规模巨大无法部署在内存有限的设备上。为了解决这个问题,我们提出了一种基于知识蒸馏的压缩方法,可以在尽可能保持模型性能的同时大大减少参数数量。
Dec, 2023
我们介绍了多切片推理,这是一种新的单视图 3D 重建概念,挑战了多视图综合是单视图和 3D 之间最自然的桥梁的当前和普遍的观念。我们的关键观察是,通过物体切片来揭示被遮挡的结构比改变视角更有优势。具体而言,切片能够更好地揭示遮挡物,因为它可以在没有阻碍的情况下穿过任何遮挡物。在极限情况下,即使用无限多个切片,它能够揭示所有隐藏的物体部分。我们通过开发名为 Slice3D 的新方法来实现我们的想法,该方法首先从单个 RGB 图像预测多个切片图像,然后使用基于坐标的转换网络将这些切片集成到 3D 模型中以进行有符号距离预测。切片图像可以通过 U-Net 网络进行回归或生成。对于前者,我们通过注入可学习的切片指示器代码将每个解码图像指定到一个空间切片位置,而切片生成器是在输入通道上堆叠的切片图像的去噪扩散模型。我们进行了广泛的评估,与最先进的替代方法进行了比较,以展示我们方法在恢复复杂且严重遮挡的形状结构中的优越性,尤其是在存在歧义的情况下。所有 Slice3D 的结果都是由在单个 Nvidia A40 GPU 上训练的网络产生的,推理时间不到 20 秒。
Dec, 2023