我们提出了一种自监督的，单视图三维重建模型，通过 2D 图像和物体的轮廓预测目标物体的 3D 网格形状、纹理和相机姿势，该方法不需要三维监督，手动注释的关键点，物体的多视图图像或先前的 3D 模板，通过自监督地学习分类特定图像的部分分割，我们可以在重建网格与原始图像之间有效强制实现语义一致性，从而大大减少了模型在预测物体形状、纹理和相机姿态时的歧义，并且我们的模型可以不需要这些标签而轻松地推广到各种物体类别。

Mar, 2020

该研究提出了一个用于三维分割的新框架 SA3D，通过密度导向的反渲染将 2D 分割蒙版投影到 3D 蒙版网格，再通过迭代的方式学习准确的 3D 分割结果，实验表明 SA3D 在不同场景下的有效性。

Apr, 2023

本文提出了 Anything-3D 框架，采用了一系列视觉语言模型和 Segment-Anything 对象分割模型来实现从单个 RGB 图像到 3D 重建的任务，并通过实验验证了其有效性和可靠性。

Apr, 2023

SAM3D 是一个创新的框架，通过利用 RGB 图像中的 Segment-Anything 模型而无需进一步训练或微调，能够在 3D 点云中预测掩模，首先预测具有 SAM 的 RGB 图像的分割掩模，然后将 2D 掩模投影到 3D 点中。最后，两个相邻帧的点云掩模以双向合并的方式进行合并，最终可以将不同帧预测出的 3D 掩模逐渐合并为整个 3D 场景的 3D 掩模，实验结果表明 SAM3D 能够在不需要对 SAM 进行训练或微调的情况下，实现合理和细粒度的 3D 分割结果。

Jun, 2023

该研究提出了一种新的方法，使用单个图像进行 3D 重建，生成了一个完整的 360 度 3D 纹理网格，改进于现有方法，具有更好的几何形状和一致性。

Jun, 2023

借鉴了 Segment Anything Model (SAM) 的方法，我们提出了 SAM3D，该方法针对 3D 体积医学图像，利用 SAM 编码器的预训练特征来捕捉输入图像的意义表示，并通过整体处理 3D 图像而避免了大量参数的训练，实验结果表明，在 3D 医学分割任务中，我们的网络相对于其他最先进的方法具有竞争力且参数效率明显。

Sep, 2023

通过引入情景表示变换器和视图条件扩散模型，该论文提出了一个通用框架，用于从单个图像生成一致的多视图图像。通过多视图注意力和极线几何约束来确保三维一致性，该模型能够从仅一个图像输入生成超过基准方法在评估指标（包括 PSNR、SSIM 和 LPIPS）方面的三维网格。

May, 2024

通过使用基于 Transformer 的方法在 3D 空间中扩展了 Segment Anything Model（SAM），我们提出了一种 3D 可提示分割模型（Point-SAM），利用部分级和对象级注释，从 SAM 中生成伪标签，将 2D 知识提取到我们的 3D 模型中，并在室内和室外基准测试中优于最先进的模型，展示了多种应用，如 3D 标注。

Jun, 2024

我们介绍了 Unique3D，这是一种新颖的图像到 3D 框架，能够高效生成高质量的 3D 网格，具有最先进的生成质量和强大的泛化能力。我们的 Unique3D 在几何和纹理细节方面显著优于其他图像到 3D 基准。

May, 2024

我们介绍了多切片推理，这是一种新的单视图 3D 重建概念，挑战了多视图综合是单视图和 3D 之间最自然的桥梁的当前和普遍的观念。我们的关键观察是，通过物体切片来揭示被遮挡的结构比改变视角更有优势。具体而言，切片能够更好地揭示遮挡物，因为它可以在没有阻碍的情况下穿过任何遮挡物。在极限情况下，即使用无限多个切片，它能够揭示所有隐藏的物体部分。我们通过开发名为 Slice3D 的新方法来实现我们的想法，该方法首先从单个 RGB 图像预测多个切片图像，然后使用基于坐标的转换网络将这些切片集成到 3D 模型中以进行有符号距离预测。切片图像可以通过 U-Net 网络进行回归或生成。对于前者，我们通过注入可学习的切片指示器代码将每个解码图像指定到一个空间切片位置，而切片生成器是在输入通道上堆叠的切片图像的去噪扩散模型。我们进行了广泛的评估，与最先进的替代方法进行了比较，以展示我们方法在恢复复杂且严重遮挡的形状结构中的优越性，尤其是在存在歧义的情况下。所有 Slice3D 的结果都是由在单个 Nvidia A40 GPU 上训练的网络产生的，推理时间不到 20 秒。

Dec, 2023