Sep, 2023

SGRec3D: 自主学习的 3D 场景图通过对象级场景重建

PDF
TL;DR提出了 SGRec3D，这是一种用于预先训练三维场景图预测的新方法，无需对象关系标签，可以利用大规模三维场景理解数据集进行训练。在细调期间只使用 10% 标记数据集便可优于未进行预先训练的模型。
3d scene understanding3d scene graphspre-trainingsgrec3dobject prediction
发现论文，激发创造
  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • Lang3DSG: 基于语言的对比预训练用于 3D 场景图预测

    我们提出了第一个针对 3D 场景图的基于语言的预训练方法，利用了场景图和语言之间的强关联，通过对比性预训练将文本嵌入关系和预测的 3D 图特征进行对齐，最终实现了在主要语义 3D 场景图基准上的效果最优，超过现有全监督场景图预测方法的显著边缘，并且由于场景图特征与语言对齐，允许我们以零样本的方式查询特征的语言空间。

    Oct, 2023

  • 提升数据高效三维场景理解的表示学习的泛化能力

    通过利用生成贝叶斯网络产生具有真实世界模式的多样化合成场景，并通过联合学习粗到精的对比学习任务和遮挡感知重建任务，我们提出了可泛化的表示学习（GRL）方法，从而为三维场景的理解提供了可传递、几何信息化的表示。在合成数据的预训练之后，我们的模型的所掌握的知识可以通过真实世界基准数据集实现无缝传递到与三维场景理解相关的两个主要下游任务，即三维物体检测和三维语义分割，并通过详尽系列的实验证明了我们方法相对于现有最新预训练方法的持续优势。

    Jun, 2024

  • 任意点云的自监督 3D 特征预训练

    该研究提出了一种可用于 3D 数据的简单自监督预训练方法，在目标检测、语义分割和物体分类等方面取得了最先进的结果并提高了少样本类别的性能。

    Jan, 2021

  • 通用自监督预训练的三维随机场景生成

    为了解决实际场景 3D 数据获取困难的问题，本文通过研究不同的数据生成方法并使用统一的评估体系，评估了不同预训练模型在多个任务中的表现，比如物体检测和语义分割，并提出了一种新的基于球谐函数的 3D 场景生成方法，在性能上超越了以往的方法，并且与使用真实世界扫描和 CAD 模型的方法表现不相上下。

    Jun, 2023

  • SG-NN: 面向自监督 RGB-D 扫描场景补全的稀疏生成神经网络

    提出一种利用自监督的方法，将部分和嘈杂的 RGB-D 扫描转换为高质量的 3D 场景重建，从而实现预测未观测到的场景几何形状，并通过新的 3D 稀疏生成神经网络架构来生成高分辨率的 3D 场景表面并提高重建质量。

    Nov, 2019

  • 基于原型形状先验的半监督单视角 3D 重建

    提出一种半监督三维重建框架 SSP3D，引入基于注意力引导的原型形状先验模块、鉴别器引导模块和正则化器来实现更好的形状生成，在 ShapeNet 基准测试中，在不同标注率下，性能均明显优越，并且对于少量有标注数据的新类别也能够取得很好的成果。

    Sep, 2022

  • Open3DSG: 从点云生成可查询对象和开放关系的开放式词汇 3D 场景图

    使用开放的词汇表以及与场景图特征和查询对象类别联系的扎根 LLM，Open3DSG 作为第一个可以预测不仅是明确的开放词汇对象类别，还包括预定义标签集以外的开放集关系的三维点云方法，在零样本学习方式下有效预测任意对象类别及其描述空间、支持、语义和比较关系的复杂对象之间的关系。

    Feb, 2024

  • 利用边缘定向推理进行基于三维点的场景图分析

    通过三个连续的阶段，构建场景图、推理和推断，我们提出了一种三维基于点的场景图生成（SGG_point）框架，在推理阶段创建了一种面向边缘的图卷积网络（EdgeGCN），以利用多维边缘特征进行显式关系建模，同时探索了节点和边缘之间的两种相关的孪生交互机制，以独立演化场景图表示。

    Mar, 2021

  • FSD：快速自监督单一 RGB-D 到分类三维物体

    通过多阶段训练管线，我们的方法成功地在实时运行中克服了现有自监督方法在 3D 物体识别方面的限制，并在 NOCS 测试集上的 6D 姿态估计中取得了 16.4% 的绝对改进，同时以接近实时的 5 Hz 速度运行。

    Oct, 2023