Mar, 2024

G3DR：ImageNet 中的生成式 3D 重建

PDF
TL;DR我们介绍了一种新颖的 3D 生成方法，Generative 3D Reconstruction (G3DR) in ImageNet，能够从单个图像中生成多样且高质量的 3D 物体，解决了现有方法的局限性。我们的框架核心是一种新颖的深度正则化技术，能够实现高几何保真度的场景生成。G3DR 还利用预训练的语言 - 视觉模型，如 CLIP，实现对新视角的重构，提升生成物体的视觉真实感。此外，G3DR 设计了简单但有效的采样过程，进一步提高生成的质量。G3DR 基于类别或文本条件提供多样且高效的 3D 资产生成。尽管 G3DR 十分简单，但在感知度量上，它能够胜过业界先进的方法，在几何评分上提高了 90% 并在感知度量上提高了 22%，同时只需一半的训练时间。代码可在此 https URL 找到。
3d generative methodgenerative 3d reconstructiondepth regularization techniquepretrained language-vision modelefficient 3d asset generation
发现论文，激发创造
  • ImageNet 的 3D 生成

    本文提出了一种基于 3D GAN 的 3D 生成器，采用了不同于以往的数据假设、深度框架和相机模型，在多样化数据集（如 ImageNet）上取得了优于现有技术的纹理和几何质量的结果。

    Mar, 2023

  • 3DGEN：一种基于 GAN 的从图像数据生成新的 3D 模型的方法

    我们提出了 3DGEN 模型，它利用最近在物体重建和基于 GAN 的图像生成方面的工作，可以为训练图像的同一类别对象生成可信的三维网格，并将生成的网格与当前最先进的基准模型进行比较，取得了可见的生成质量改进。

    Dec, 2023

  • GET3D: 从图像中学习高质量 3D 纹理形状的生成模型

    GET3D 是一种 3D 生成模型，能够直接生成具有复杂拓扑结构、丰富几何细节和高保真纹理的显式纹理 3D 网格，从而显著改进了以往的方法。

    Sep, 2022

  • 从无约束图像集合中学习 GET3D--

    GET3D-- 是第一个通过未知姿态和尺度的 2D 图像直接生成贴图的 3D 形状的方法，它能够精确适应 6D 相机姿态分布，并在合成和真实无约束数据集上生成高质量的形状。

    Jul, 2023

  • 从单个深度视图密集重建 3D 物体

    通过 3D-RecGAN ++，使用生成对抗网络从单个任意深度视图重建给定对象的完整三维结构，诸如多视图的对象或类标签，仅使用深度视图的体素网格表示作为输入，充分利用了自动编码器和条件生成式对抗网络框架的生成能力，在高维体素空间中推断对象的准确和细粒度的三维结构，并在合成和真实数据集上得到了验证。

    Feb, 2018

  • 从 2D GAN 数据中渐进式学习 3D 重建网络

    本文介绍了一种使用生成式对抗网络（GAN）生成的多视角图像数据集重建高质量纹理三维模型的方法，其具有可忽略的注释成本，并通过多阶段学习和在线伪标签生成的新颖对抗学习流水线实现了精细的细节并显著改善了之前的方法。

    May, 2023

  • 基于 ImageNet 中的野外图像的几何感知 3D 生成

    从多样且非结构化的 Imagenet 数据集中，我们提出了一种从二维图像中重建三维几何模型的方法，使用高效的三平面表示法学习三维模型，并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整，通过多视点辨别防止模式崩溃并提升训练稳定性。

    Jan, 2024

  • 使用对抗学习从单深度视图中重建 3D 物体

    本文提出了一种新颖的 3D-RecGAN 方法，使用生成对抗网络从单个任意深度视角重建给定对象的完整三维结构，在高维体素空间中通过结合自动编码器和条件生成对抗网络框架的生成能力恢复物体的准确和细粒度的三维结构。广泛的实验表明，该方法在单视角 3D 物体重建方面明显优于现有技术，且能够重建未被见过的物体类型。

    Aug, 2017

  • GDR-Net: 基于几何引导的单目 6D 物体位姿估计直接回归网络

    本研究比较了直接和间接方法，提出了一种几何引导的直接回归方法（GDR-Net）来从几何表示学习 6D 位姿，结果显示我们的方法在 LM, LM-O 和 YCB-V 数据集上显著优于现有的最先进技术

    Feb, 2021

  • UniG3D：统一的三维物体生成数据集

    UniG3D 是一个统一的 3D 对象生成数据集，采用 Objaverse 和 ShapeNet 数据集的通用数据转换管道，并使用渲染引擎和多模态模型将每个原始的 3D 模型转换成包含文本、图像、点云和网格的综合多模态数据表示，该数据集可应用于任何 3D 数据集中。

    Jun, 2023