May, 2023

OpenShape: 三维形状表达的扩展，向开放世界理解的规模化发展

PDF
TL;DR本文介绍 OpenShape 方法，它是一种用于学习文本、图像和点云的多模式联合表示的方法。OpenShape 采用常用的多模式对比学习框架进行表示对齐，但专注于扩展 3D 表示，以实现开放世界 3D 形状理解，并通过配合 CLIP 嵌入实现不同领域的应用。
multi-modal learning3d shape understandinghard negative miningzero-shot classificationclip embeddings
发现论文，激发创造
  • OpenScene: 利用开放式词汇的 3D 场景理解

    使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

    Nov, 2022

  • MV-CLIP：多视角 CLIP 用于零样本 3D 形状识别

    通过视角选择和分层提示的策略，本研究旨在改进预训练模型在零样本三维形状识别中的信心，实现无需额外训练的令人印象深刻的分类准确性。

    Nov, 2023

  • Uni3D: 在规模上探索统一的三维表示

    通过 Uni3D，我们提出了一种可扩展的 3D 对象和场景表示方法，利用 2D 模型作为初始化，并通过图像 - 文本对齐模型作为目标，解锁了 2D 模型和扩展策略在 3D 世界中的潜力，并在许多 3D 任务中取得了新的成绩，如零样本分类、少样本分类、开放世界理解和部分分割，并展示了 Uni3D 在野外环境中进行的 3D 绘画和检索等应用。我们相信，Uni3D 为探索 3D 领域的表示扩展和效率提供了新的方向。

    Oct, 2023

  • 利用形状进行类别划分：带有明显形状偏差的少样本学习

    该研究提出了一种新的方法，通过学习 3D 物体形状来改进现有的低样本学习方法，并在多个数据集上证明了其有效性，同时介绍了最大种类数量的 3D 对象数据集 Toys4K。

    Jan, 2021

  • 基于形状概念的深度监督算法用于考虑遮挡的三维物体分割

    本研究中，我们利用深度卷积神经网络架构在 2D 图像和 3D 空间中定位语义部件并推断它们的可见性状态，其利用合成数据和模拟的遮挡情况训练网络，并表明了其在现实图像基准测试中具有最先进的性能和有效的迁移知识。

    Dec, 2016

  • ShapeClipper：基于几何和 CLIP 一致性的单视图图像可扩展的三维形状学习

    ShapeClipper 是一种利用单视角图像实现三维物体形状重建的新方法，其中采用基于 CLIP 的形状一致性来促进物体的形状学习，并利用现成的法线作为额外的几何约束，以实现对详细表面几何结构的自下而上推理。我们在 Pix3D、Pascal3D + 和 OpenImages 等三个数据集上进行了评估，并取得了比最先进方法更好的性能。

    Apr, 2023

  • ZeroForge: 无需 3D 监督的前向文本到形状

    本文介绍一种名为 ZeroForge 的零样本学习方法，可避免依赖标记的 3D 形状数据集和推断时间昂贵的隐式神经表达优化，通过结合 CLIP-loss 和对比损失等技术，扩大了现有前馈文本到形状模型如 CLIP-Forge 的生成能力，并使用广泛的定性和定量评估支持了这种方法。

    Jun, 2023

  • OpenDlign: 用深度对齐图像提升开放世界三维学习

    OpenDlign 是一个新颖的框架，利用点云投影的深度映射生成的深度对齐图像来学习开放世界的 3D 表示，通过丰富多样的颜色和纹理差异以及保持几何和语义一致性，优化了 2D 到 3D 知识迁移，从而显著提高了零样本和少样本 3D 任务的性能。

    Apr, 2024

  • 联合监督与自监督学习 3D 现实世界挑战

    本文介绍了基于自监督式多任务模型的方法，用于解决数据稀缺性和跨域数据集问题，提高 3D 形状分类与部分分割的效果。

    Apr, 2020

  • Text2Shape: 通过学习联合嵌入从自然语言生成形状

    通过联合嵌入 3D 彩色形状和自然语言，我们提出了一种从自然语言中生成彩色 3D 形状的方法，此外还演示了其背后的文本检索，条件 Wasserstein GAN 等实现和应用。

    Mar, 2018