本文提出了一种新颖的生成静态和关节 3D 资产的方法，其中核心是一个 3D 自解码器框架，将目标数据集中学习到的属性嵌入潜在空间，然后通过解码来渲染具有一致性的外观和几何体积表示；在不需要摄像头信息的情况下，通过学习来进行更加高效的训练，实现了在各种基准数据集和指标上超越同类别替代方法的影响力。

Jul, 2023

从文本和图像生成高质量的 3D 模型一直是具有挑战性的，本文介绍了一种直接的 3D 生成模型 (Direct3D)，它可以缩放到野外输入图像，而不需要多视图扩散模型或 SDS 优化。我们的方法包括两个主要组成部分：一个直接的 3D 变分自动编码器 (D3D-VAE) 和一个直接的 3D 扩散变换器 (D3D-DiT)。D3D-VAE 将高分辨率的 3D 形状高效编码成紧凑连续的潜在三平面空间，而我们的方法通过半连续表面采样策略直接监督解码几何形状，与以往依赖渲染图像作为监督信号的方法不同。D3D-DiT 对编码的 3D 潜在分布进行建模，并特别设计以融合三个特征图的位置信息，从而实现了可扩展到大规模 3D 数据集的原生 3D 生成模型。此外，我们引入了一种创新的从图像到 3D 的生成流程，结合语义和像素级图像条件，使模型能够生成与提供的条件图像一致的 3D 模型。大量实验证明，我们大规模预训练的 Direct3D 相对于以前的图像到 3D 方法具有更好的生成质量和泛化能力，从而树立了 3D 内容创建的新的最先进水平。

May, 2024

基于视图空间和潜在扩散模型的 3D 感知图像合成方法，通过压缩潜在表示学习图像的 3D 结构，实现高质量的 3D-consistent 图像合成，无需多视角或 3D 几何的直接监督，不依赖于规范化的相机坐标。

Nov, 2023

我们提出了一个通过 2D 图像数据训练的 3D 场景潜在扩散模型，首先设计了一个将多视图图像映射到 3D 高斯斑点并在同时构建这些斑点的压缩潜在表示的自编码器，然后在潜在空间上培训多视图扩散模型，以学习一种高效的生成模型。该方法不需要对象掩码或深度信息，适用于具有任意相机位置的复杂场景。我们在两个大规模复杂真实世界场景数据集 MVImgNet 和 RealEstate10K 上进行了仔细实验。与非潜在扩散模型和早期 NeRF-based 生成模型相比，我们的方法无论是从头开始，从单个输入视图开始还是从稀疏输入视图开始，都能在 0.2 秒内生成 3D 场景，并产生多样且高质量的结果，速度提高了一个数量级。

Jun, 2024

BlockFusion 是一种扩展三维场景的扩散模型，通过三维场景网格的剪裁和特征提取，在潜在三平面空间中进行扩散操作，从而生成高质量、多样化的三维场景。

Jan, 2024

Blaze3DM 是一种新颖的方法，通过集成紧凑的三平面神经场和强大的扩散模型，实现快速且高保真度的生成，用于解决 3D 医学逆问题，它在计算效率上显著提高了现有方法的性能（比以前的工作快 22~40 倍）。

May, 2024

本文基于自动编码器训练了一个伯努利编码分布的二元潜空间模型，用于图像压缩和高分辨率图像生成。结果表明该方法无需使用多级层次结构即可大幅提高采样效率，生成的图像质量好且效果与现有先进方法相当。

Apr, 2023

LN3Diff 是一个新颖的框架，通过使用 3D 感知架构和变分自编码器将输入图像编码到结构化、紧凑和 3D 潜空间中，然后通过基于 Transformer 的解码器将潜空间解码为高容量的 3D 神经场，从而在 3D 生成、单目 3D 重建和有条件 3D 生成等各种数据集上展现出卓越的表现，并在推理速度方面超越了现有的 3D 扩散方法。

Mar, 2024

本文提出了一种新颖的无监督解缠面部表情和身份表示的框架 ——LatentFace，并使用 3D 感知的潜入模型来解决这一问题。该方法在面部表情识别和面部验证等无监督面部表示学习模型中取得了最先进的性能。

Sep, 2023

本文介绍了一种基于 3D 潜在扩散模型的 3D 形状补全方法，该方法通过交叉注意力和空间特征整合实现以图像为基础的条件和以 3D 特征为基础的条件，以高分辨率、真实感的方式完成形状补全。

Mar, 2024