拍照：点云模型的 3D 到 2D 生成预训练

ICCVJul, 2023

拍照：点云模型的 3D 到 2D 生成预训练

Take-A-Photo: 3D-to-2D Generative Pre-training of Point Cloud Models

Ziyi Wang, Xumin Yu, Yongming Rao, Jie Zhou, Jiwen Lu

TL;DR我们提出了一种新颖的适用于任何点云模型的 3D 到 2D 生成预训练方法，通过交叉注意机制生成来自不同指示姿势的视图图像作为预训练方案，以精确监督帮助 3D 主干更好地理解点云的几何结构和立体关系，实验结果证明了我们提出的方法在提升架构导向方法性能方面的优越性，并在 Fine-tuning ScanObjectNN 分类和 ShapeNetPart 分割任务时实现了最先进的性能。

Abstract

With the overwhelming trend of mask image modeling led by MAE, generative pre-training has shown a remarkable potential to boost the performance of fundamental models in 2D vision. However, in 3d vision, the over-reliance on Transformer-based backbones and the unordered nature of point

3d vision generative pre-training point cloud model cross-attention mechanism geometrical structure

发现论文，激发创造

基于多视图表达学习的点云预训练

本文提出了一种基于 2D network 预训练的点云 3D 预训练新方法，通过引入多视角一致性损失，可有效防止 3D 特征丢失并在 3D 检测和语义分割等任务中实现最先进的性能。

Jun, 2023

PonderV2：铺设通向通用预训练范式的 3D 基础模型之路

通过可微分神经渲染，我们提出了一个新的通用方法来学习点云表示，实现了 3D 和 2D 之间的无缝集成，并在室内和室外场景中的多个任务中实现了卓越的性能和持续改进。

Oct, 2023

Mask3D：通过学习掩码的 3D 先验知识预训练 2D 视觉 Transformer

提出了一种名为 Mask3D 的预训练方法，可以将现有的大规模 RGB-D 数据应用于自监督预训练中，将 3D 先验嵌入到 2D 的学习特征中，并对多个场景理解任务产生了改进，尤其是语义分割。

Feb, 2023

从 2D 学习：基于像素到点的对比知识传递进行 3D 预训练

本文提出了一种使用 2D 网络预训练 3D 深度神经网络的新方法，包括像素到点知识转移、反向投影函数、上采样特征投影层等，成功提升了各种真实世界 3D 网络下游任务的模型性能。

Apr, 2021

使用多视角渲染进行自监督学习的三维点云分析

通过多视图渲染三维数据，运用局部和全局两个层次的自监督方式进行神经网络的预训练来取得了优于 PointNet，DGCNN 和 SR-UNet 等现有方法的效果，并分析了合成和真实数据的优缺点。

Oct, 2022

通过图像到点蒙版自编码器从二维预训练模型中学习三维表示

利用自监督的预训练，我们通过 Image-to-Point Masked Autoencoders（I2P-MAE）从 2D 预训练模型中获取优秀的 3D 表示，其中我们引入了两种图像到点的学习方案：一种是引入 2D 引导遮罩策略，另一种是通过可见的点重构相应的多视角 2D 特征；与现有方法的完全训练结果相当的冻结 I2P-MAE 在 ModelNet40 上实现了 93.4％的线性 SVM 准确性，在进一步在 ScanObjectNN 的最困难的分割上进行微调后，I2P-MAE 达到了 90.11％的最新技术水平，比第二好的方法高 3.68％，展示出优秀的可转移能力。

Dec, 2022

多视图视觉提示融合网络：2D 预训练模型能否增强 3D 点云数据稀缺学习？

本研究提出了一个新的多视图视觉提示融合网络 (MvNet)，通过利用现成的 2D 预训练模型实现 few-shot 3D 点云分类，实现了 3D few-shot 点云图像分类的最新性能。

Apr, 2023

基于 ImageNet 中的野外图像的几何感知 3D 生成

从多样且非结构化的 Imagenet 数据集中，我们提出了一种从二维图像中重建三维几何模型的方法，使用高效的三平面表示法学习三维模型，并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整，通过多视点辨别防止模式崩溃并提升训练稳定性。

Jan, 2024

ImageNet 的 3D 生成

本文提出了一种基于 3D GAN 的 3D 生成器，采用了不同于以往的数据假设、深度框架和相机模型，在多样化数据集（如 ImageNet）上取得了优于现有技术的纹理和几何质量的结果。

Mar, 2023

稠密三维物体重建的高效点云生成学习

本文提出了一种新的 3D 生成建模框架，使用 2D 卷积运算从多个视角预测 3D 结构，并联合应用几何推理和 2D 投影优化来高效地生成以密集点云形式呈现的物体形状，并引入伪渲染器来合成优化的新深度图，在单张图像 3D 对象重建任务中表现了优越的形状相似性和预测密度。

Jun, 2017