本文介绍了一种基于神经网络的多边形网格渲染方法，该方法使用了一种近似梯度来克服离散化操作的限制，从而实现了单幅图像的3D网格重建。同时，该方法还实现了基于2D监督的3D渲染编辑操作。实验结果表明，所提出的渲染器有效性强。

Nov, 2017

论文提出了一种统一框架，用于解决单幅图像特定类别的3D重建和新3D形状生成的问题。该方法支持弱监督学习，只需要单个实例的2D图像，使用网格作为输出表示，并利用光照信息提高了性能。实验结果表明，该方法在定量度量上与最新的基于体素方法相当或优于，而且结果更加美观，并且在弱监督学习方面表现良好。

Jul, 2018

本文提出了一种基于contour的非参数、真正可微分的soft rasterizer，使得可以从单张图片进行高质量3D网格重建的无监督学习成为可能，且相比其他无监督方法表现出了极大的优势。同时，我们还展示了在各种实际情况下，我们的soft rasterizer能够获得与最前沿的有监督学习方法可比甚至更好的结果。

Jan, 2019

该研究论文介绍了一种基于Transformer的方法来直接建模多边形网格，并通过输入不同的对象类别、体素和图像等信息，生成可用的高质量网格，同时在表面重建指标上表现出很好的性能。

Feb, 2020

ShapeFormer是一个基于transformer的网络，它可以在给定不完整和可能带有噪声的点云的情况下生成物体完成的分布，通过采样分布，可以生成类似于输入的可能完成物体，我们引入了一种紧凑的3D表示方法——向量量化深度隐式函数，它利用空间稀疏性将3D形状的近似表示成短序列的离散变量，实验表明，ShapeFormer在处理不完整的输入情况下的物体形状补全问题上性能优于先前的方法。同时，我们还展示了我们的方法可以有效处理各种不同形状类型，不完整的输入模式和真实世界的扫描数据。

Jan, 2022

该研究提出了一种新的方法，使用单个图像进行3D重建，生成了一个完整的360度3D纹理网格，改进于现有方法，具有更好的几何形状和一致性。

Jun, 2023

Sparse3D是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取2D先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助C-SDS技术来增强细节，实验证明了我们的方法在NVS和几何重建方面优于之前的最先进工作。

Aug, 2023

FastDiT-3D is a novel masked diffusion transformer designed for efficient generation of high-quality 3D point clouds, achieving state-of-the-art performance with reduced training costs and improving multi-category 3D generation using a Mixture-of-Expert approach.

Dec, 2023

从文本和图像生成高质量的3D模型一直是具有挑战性的，本文介绍了一种直接的3D生成模型(Direct3D)，它可以缩放到野外输入图像，而不需要多视图扩散模型或SDS优化。我们的方法包括两个主要组成部分:一个直接的3D变分自动编码器(D3D-VAE)和一个直接的3D扩散变换器(D3D-DiT)。D3D-VAE将高分辨率的3D形状高效编码成紧凑连续的潜在三平面空间，而我们的方法通过半连续表面采样策略直接监督解码几何形状，与以往依赖渲染图像作为监督信号的方法不同。D3D-DiT对编码的3D潜在分布进行建模，并特别设计以融合三个特征图的位置信息，从而实现了可扩展到大规模3D数据集的原生3D生成模型。此外，我们引入了一种创新的从图像到3D的生成流程，结合语义和像素级图像条件，使模型能够生成与提供的条件图像一致的3D模型。大量实验证明，我们大规模预训练的Direct3D相对于以前的图像到3D方法具有更好的生成质量和泛化能力，从而树立了3D内容创建的新的最先进水平。

May, 2024

本研究解决了现有多视角图像扩散模型在3D几何一致性方面的不足。提出的3D适配器模块通过将3D几何意识注入预训练图像扩散模型，显著提升了几何质量。实验证明，3D适配器不仅改善了文本到多视角模型的几何效果，还支持文本到3D、图像到3D等多种任务，展现了其广泛的应用潜力。

Oct, 2024