通用自监督预训练的三维随机场景生成

Jun, 2023

通用自监督预训练的三维随机场景生成

Randomized 3D Scene Generation for Generalizable Self-supervised Pre-training

Lanxiao Li, Michael Heizmann

TL;DR为了解决实际场景 3D 数据获取困难的问题，本文通过研究不同的数据生成方法并使用统一的评估体系，评估了不同预训练模型在多个任务中的表现，比如物体检测和语义分割，并提出了一种新的基于球谐函数的 3D 场景生成方法，在性能上超越了以往的方法，并且与使用真实世界扫描和 CAD 模型的方法表现不相上下。

Abstract

Capturing and labeling real-world 3d data is laborious and time-consuming, which makes it costly to train strong 3D models. To address this issue, previous works generate randomized 3D scenes and pre-train models on generated data. Although the pre-trained models gain promising perform

3d data pre-training models object detection semantic segmentation data generation methods

发现论文，激发创造

RandomRooms：从合成形状和随机布局进行无监督预训练以进行 3D 物体检测

该研究提出一种名为 RandomRooms 的新方法，利用合成 CAD 数据集中的对象生成场景的随机布局并通过对象级对比学习来学习 3D 场景表示，并表明该模型可用于提高 3D 检测任务的性能和泛化能力，从而在 ScanNetV2 和 SUN RGB-D 等流行的 3D 检测基准上取得新的最优结果。

Aug, 2021

提升数据高效三维场景理解的表示学习的泛化能力

通过利用生成贝叶斯网络产生具有真实世界模式的多样化合成场景，并通过联合学习粗到精的对比学习任务和遮挡感知重建任务，我们提出了可泛化的表示学习（GRL）方法，从而为三维场景的理解提供了可传递、几何信息化的表示。在合成数据的预训练之后，我们的模型的所掌握的知识可以通过真实世界基准数据集实现无缝传递到与三维场景理解相关的两个主要下游任务，即三维物体检测和三维语义分割，并通过详尽系列的实验证明了我们方法相对于现有最新预训练方法的持续优势。

Jun, 2024

任意点云的自监督 3D 特征预训练

该研究提出了一种可用于 3D 数据的简单自监督预训练方法，在目标检测、语义分割和物体分类等方面取得了最先进的结果并提高了少样本类别的性能。

Jan, 2021

SGRec3D: 自主学习的 3D 场景图通过对象级场景重建

提出了 SGRec3D，这是一种用于预先训练三维场景图预测的新方法，无需对象关系标签，可以利用大规模三维场景理解数据集进行训练。在细调期间只使用 10% 标记数据集便可优于未进行预先训练的模型。

Sep, 2023

医学影像的 3D 自监督方法

本文提出了针对五种不同的自监督学习方法的三维版本，利用这些技术进行神经网络特征的学习，通过对三维图像的预处理，显著提高语义表示的精确性，从而在医学成像领域实现了数据效率、性能和收敛速度的提升，具有较高的竞争力和可扩展性。

Jun, 2020

Primitive3D：从随机组装的基元中合成 3D 对象数据集

本研究提出一种成本效益高的方法，通过组装多个随机基元来合成自动带有部件标签的 3D 对象，从而生成大量带有标注的数据集，并通过数据集蒸馏策略来移除冗余样本，实现了在生成数据集上进行监督分割与无监督重建的多任务学习。实验结果表明，该方法相对于其他常用数据集，可以取得最佳的 3D 目标对象分类结果，并能大幅缩短预训练时间。

May, 2022

自然图像中的无监督生成式三维形状学习

本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

Oct, 2019

通过层次特征对齐预训练和区域感知微调的通用标签高效三维场景解析

通过使用预先训练的视觉 - 语言模型和无监督的区域级语义对比学习方案，本研究提出了一种通用且简单的框架，用于处理有限标记情况下的 3D 场景理解，从而在数据效率学习和开放世界少样本学习方面展现了有效性。

Dec, 2023

使用三维先验增强二维表示学习

通过在训练过程中直接强制将强大的三维结构先验性知识融入模型，我们提出了一种新的方法来加强现有的自监督学习方法，并通过一系列数据集实验证明了我们的三维感知表示比传统的自监督基线更加稳健。

Jun, 2024

构建通用 3D 大规模感知强预训练基准

通过构建一个 CSC 框架，我们综合使用视觉基础模型提供的语义线索和多模态信息的知识丰富的跨场景原型，实现了一种具有各种下游任务的更少微调工作量的通用 3D 预训练模型。

May, 2024