CVPRApr, 2023

ShapeClipper：基于几何和 CLIP 一致性的单视图图像可扩展的三维形状学习

PDF
TL;DRShapeClipper 是一种利用单视角图像实现三维物体形状重建的新方法，其中采用基于 CLIP 的形状一致性来促进物体的形状学习，并利用现成的法线作为额外的几何约束，以实现对详细表面几何结构的自下而上推理。我们在 Pix3D、Pascal3D + 和 OpenImages 等三个数据集上进行了评估，并取得了比最先进方法更好的性能。
shapeclipper3d object shapessingle-view rgb imagesclip-based shape consistencygeometric constraint
发现论文，激发创造
  • MV-CLIP：多视角 CLIP 用于零样本 3D 形状识别

    通过视角选择和分层提示的策略，本研究旨在改进预训练模型在零样本三维形状识别中的信心，实现无需额外训练的令人印象深刻的分类准确性。

    Nov, 2023

  • 多多 CLIP：多视图图像下的高效三维理解

    推出了 Duoduo CLIP 模型，用于从多视图图像中学习形状表示，相比基于点云的方法，它展示了更好的泛化性能、减少的 GPU 要求和训练时间，以及利用多帧对象的交叉视图注意力进一步提升的性能。多视图图像还提供了与基于点云方法相比更大的灵活性，在实际世界对象的图像分类和文本到形状检索中展示了更好的性能。

    Jun, 2024

  • Pix3D: 单张图像 3D 形状建模的数据集和方法

    通过 Pix3D 数据集，我们在三个方面对单张图像进行 3D 形状建模进行研究：建立了包含图片和对应 3D 模型对的大规模基准数据集，对 3D 形状重建的评估标准进行了校准并设计了一种新的模型，该模型在 3D 重建和姿态估计任务上均实现了最先进的性能。

    Apr, 2018

  • PointCLIP: 基于 CLIP 的点云理解

    本文基于 Contrastive Vision-Language Pre-training (CLIP) 提出了一种对应 PointCloud 数据和 3D 文本分类的零样本和小样本学习模型 PointCLIP，并通过在 ModelNet10、ModelNet40 和 ScanObjectNN 数据集上的实验证明其有效性。

    Dec, 2021

  • CLIP 在学习 3D 中的应用

    通过两个无监督方法，我们提出了 $I2I$ 和 $(I2L)^2$，利用 CLIP 关于文本和 2D 数据的知识，计算两个 3D 样本之间的神经感知相似度，从而在没有文本描述的情况下增强对比的文本 - 图像 - 3D 对齐，通过自定义损失函数和硬负样本挖掘建立多模态对比流程，我们的方法在 3D 分类和跨模态检索基准测试方面取得了与之前方法相媲美甚至更优的性能，显著改善了图像到形状和形状到图像的检索效果。

    Jun, 2024

  • OpenShape: 三维形状表达的扩展，向开放世界理解的规模化发展

    本文介绍 OpenShape 方法，它是一种用于学习文本、图像和点云的多模式联合表示的方法。OpenShape 采用常用的多模式对比学习框架进行表示对齐，但专注于扩展 3D 表示，以实现开放世界 3D 形状理解，并通过配合 CLIP 嵌入实现不同领域的应用。

    May, 2023

  • 将 CLIP 的知识转化为零样本点云语义分割

    本文提出了一种简单而有效的基线方法，将 CLIP 中的视觉语言知识在特征和输出层面上转移到点云编码器，从而在零样本点云语义分割中取得了显著的性能提升，并在无标注点云语义分割设置中取得了有希望的结果，展示了其在标签效率学习方面的巨大潜力。

    Dec, 2023

  • 3D-LatentMapper：三维形状的视角无关的单视图重建

    本文提出了一种新的框架，利用 Vision Transformer（ViT）和联合图像 - 文本表示模型 CLIP 的中间潜空间，用于单视图重建，通过学习从 ViT 和 CLIP 提取的深度特征与基础 3D 生成模型的潜在空间之间的映射来揭示 3D 形状的重建，且能够实现视角不受限和大遮挡情况下的 3D 形状重建。

    Dec, 2022

  • CLIP2Scene: 基于 CLIP 的高效场景理解

    本文介绍了一种简单而有效的框架 CLIP2Scene，通过从二维预训练模型中转移知识到三维点云网络，利用语义和时空一致性正则化来预训练三维网络，实现了三维场景理解任务，并在多个数据集上进行了实验验证，其中包括无注释的 3D 语义分割，mIoU 在 nuScenes 和 ScanNet 数据集上分别达到了 20.8% 和 25.08%。

    Jan, 2023

  • PointCLIP V2: 适应强大 3D 开放世界学习的 CLIP

    本文介绍了一种名为 PointCLIP V2 的 3D 开放世界学习器，它使用对比语言 - 图像预训练（CLIP）以及大规模语言模型来在 3D 点云数据上进行零 - shot 分类、部分分割和物体检测。PointCLIP V2 通过引入现实形状投影模块和自动设计更具描述性的 3D - 语义暗示，显著超越了 PointCLIP 的性能。

    Nov, 2022