May, 2024

Direct3D：基于3D潜在扩散变换的可扩展图像到3D生成

HTML
PDF
TL;DR从文本和图像生成高质量的3D模型一直是具有挑战性的，本文介绍了一种直接的3D生成模型(Direct3D)，它可以缩放到野外输入图像，而不需要多视图扩散模型或SDS优化。我们的方法包括两个主要组成部分:一个直接的3D变分自动编码器(D3D-VAE)和一个直接的3D扩散变换器(D3D-DiT)。D3D-VAE将高分辨率的3D形状高效编码成紧凑连续的潜在三平面空间，而我们的方法通过半连续表面采样策略直接监督解码几何形状，与以往依赖渲染图像作为监督信号的方法不同。D3D-DiT对编码的3D潜在分布进行建模，并特别设计以融合三个特征图的位置信息，从而实现了可扩展到大规模3D数据集的原生3D生成模型。此外，我们引入了一种创新的从图像到3D的生成流程，结合语义和像素级图像条件，使模型能够生成与提供的条件图像一致的3D模型。大量实验证明，我们大规模预训练的Direct3D相对于以前的图像到3D方法具有更好的生成质量和泛化能力，从而树立了3D内容创建的新的最先进水平。
发现论文，激发创造
  • 3D表征的深度生成模型：一项调查

    本文概述了 3D 生成方法和 3D 感知图像合成的算法和表示方法的发展，并探讨了面临的困难和挑战。

    Oct, 2022

  • 探索纯扩散变压器与三维形状生成

    提出一种用于三维形状生成的新型扩散Transformer——DiT-3D，直接利用普通Transformer对点云数据进行去噪处理；相较于现有U-Net方法，该模型规模更具可扩展性且生成体现更高质量的形状。

    Jul, 2023

  • 大词汇量三维扩散模型与变压器

    使用三平面的三维感知扩散模型与Transformer架构，通过改善三维表示、处理几何和纹理的巨大变化、增强复杂对象的三维知识，提出一个能生成大量多样性、丰富语义以及高质量的真实世界三维对象的单一DiffTF模型，该模型在ShapeNet和OmniObject3D的广泛实验中表现出最先进的大量词汇三维对象生成性能。

    Sep, 2023

  • One-2-3-45++：一键快速生成3D物体的单张图片与一致性多视图生成和3D扩散

    这篇论文提出了一种创新的方法One-2-3-45++，可以在大约一分钟内将单张图像转化为详细的3D纹理网格，通过利用二维扩散模型的知识和有限的三维数据的先验信息，该方法能够快速生成高质量、多样化且与原始输入图像紧密相似的3D模型。

    Nov, 2023

  • Direct2.5: 多视角2.5D扩散下的多样化文本到3D生成

    通过使用经过微调的2D扩散模型的多视角2.5D扩散方法，我们填补了2D扩散和直接3D扩散方法之间的差距，为3D内容生成提供了多样性、无模式寻找和高保真度，仅需10秒。

    Nov, 2023

  • 3DTopia: 带混合扩散先验的大规模文本到3D生成模型

    我们提出了一个两阶段的文本到3D生成系统，名为3DTopia，它使用混合扩散先验在5分钟内生成高质量的通用3D资产。第一阶段直接从3D数据学习的3D扩散先验中采样，由文本条件的三视图潜在扩散模型提供动力，快速生成用于快速原型设计的粗糙3D样本。第二阶段利用2D扩散先验进一步优化第一阶段中粗糙3D模型的纹理。优化包括潜在空间和像素空间的优化，用于生成高质量的纹理。为了促进所提出系统的训练，我们通过结合视觉语言模型和大型语言模型清洗和加标最大的开源3D数据集Objaverse。实验证据定性和定量地展示了所提出系统的性能。我们的代码和模型可在此https网址获得。

    Mar, 2024

  • Sculpt3D：多视角一致的基于稀疏三维先验的文本生成3D

    使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的3D先验，以确保高质量和多样化的3D几何，同时保持2D扩散模型的生成质量和多视角一致性。

    Mar, 2024

  • DiffTF++：大词汇量三维生成的三维感知扩散变换器

    通过引入一种基于扩散的前馈框架，以及使用改进的三面平面和3D-aware转换器、编码器/解码器来处理大规模的3D资源生成任务，该研究提出了一个更强的3D生成模型，以增强多样性、语义和质量。

    May, 2024

  • Dual3D: 双模多视角潜在扩散下高效一致的文本到3D生成

    我们提出了Dual3D，一种新颖的文本到3D生成框架，仅需1分钟从文本生成高质量的3D资产。其中关键组件是双模态多视图潜在扩散模型，通过单个潜在去噪网络可以有效去噪多视图潜在，在3D模式下可以生成一致渲染的三面神经表面实现去噪。我们通过预训练的文本到图像潜在扩散模型调整多数模块，避免了从头训练的昂贵代价。同时，我们提出了双模态切换推理策略，仅使用1/10的去噪步骤和3D模式，在仅10秒的时间内成功生成高质量的3D资产，同时可以通过高效的纹理细化过程进一步增强3D资产的纹理，大量实验证明我们的方法在显著减少生成时间的同时提供了最先进的性能。

    May, 2024

  • DIRECT-3D: 基于大规模噪声三维数据的直接文本到三维生成学习

    DIRECT-3D是一种基于扩散的三维生成模型，从文本提示中创建高质量的三维资产（由神经辐射场表示）；通过直接在大规模无序三维资产上训练，同时过滤和对齐噪声数据，使用迭代优化的扩散过程估计物体的三维姿势并选择有益数据，并通过两个条件性扩散模型实现分离对象几何和颜色特征的高效三维表示；模型能在几秒内生成具有准确几何细节的高质量、高分辨率、逼真而复杂的三维对象，并在单类别生成和文本到三维生成方面达到最先进的性能。

    Jun, 2024