Diffusion-SDF: 基于体素扩散的文本到形状生成
提出了一种基于扩散的 3D 形状生成框架,名为局部注意力 SDF 扩散,可通过 2D 草图图像输入建模可信的 3D 形状,实现局部控制性和模型普适性的提高。
May, 2023
本文介绍了一种新的 3D 形状表示方法,名为 Mosaic-SDF(M-SDF),它通过使用一组分布在形状边界附近的局部网格来近似给定形状的有符号距离函数(SDF)。M-SDF 表示具有高效计算、参数效率和与基于 Transformer 的架构兼容等优点,在 3D 生成流模型的训练中展示了其有效性。
Dec, 2023
该研究介绍了一种创新的 3D 体积编码器,旨在用于文字到 3D 生成。为了扩大扩散模型的训练数据,该研究开发了一种轻量级网络,能够有效地从多视图图像中获取特征体积。然后,使用 3D U-Net 在扩散模型上对 3D 体积进行训练,用于文字到 3D 生成。该研究进一步解决了不准确的物体标题和高维特征体积的挑战。该模型在公共 Objaverse 数据集上训练,展示了从文本提示生成多样且可识别的样本的有希望结果。值得注意的是,它通过文本线索在物体的部分特征上赋予了更好的控制能力,通过将多个概念无缝结合在单个物体中,促进了模型的创造力。这项研究通过引入一种高效、灵活和可扩展的表示方法,对 3D 生成的进展有着显著贡献。可在此 https URL 找到代码。
Dec, 2023
本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法,该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制,将 2D 的扩散模型作为先验,通过梯度下降优化 3D 模型(Neural Radiance Field),并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据,也不需要修改图像扩散模型,证明了使用预训练的图像扩散模型作为先验的有效性。
Sep, 2022
提出了一种基于超几何空间的分层文本到形状生成模型,利用超几何空间学习文本和 3D 形状的分层表示,并通过引入双分支结构嵌入文本特征于 3D 特征空间,最终得到具有分层结构的生成 3D 形状,实验结果显示在现有文本到形状数据集上取得了最先进的效果。
Mar, 2024
Sin3DM 是一种学习来自单个 3D 纹理形状的内部图案分布的扩散模型,该模型通过压缩输入到低维潜在空间来降低内存和计算成本,然后通过 Triplan 感知 2D 卷积块来训练模型,可以生成较高质量的 3D 形状,还可以用于重定位,外表绘画和局部编辑。
May, 2023
该论文提出了一种新的框架,用于简化业余用户的 3D 资产生成。这种方法支持多种输入模态,并能够对每个输入的强度进行调整,从而允许用户同时使用不完整的形状、图像和文字描述来生成形状,并提供每个输入的相对权重和互动性。
Dec, 2022
本文提出了一种新颖的概率生成建模方法,称为 Point-Voxel Diffusion(PVD),它是一个统一的、概率的公式,用于无条件的形状生成和多模态形状完成。PVD 将降噪扩散模型与 3D 形状的混合点 - 体素表示相结合,并通过优化变分下界来训练(条件)似然函数。实验证明了 PVD 的高保真度合成能力,以及从单视角深度扫描的真实对象中生成多个完成结果的能力。
Apr, 2021
本文介绍了一种基于 3D 潜在扩散模型的 3D 形状补全方法,该方法通过交叉注意力和空间特征整合实现以图像为基础的条件和以 3D 特征为基础的条件,以高分辨率、真实感的方式完成形状补全。
Mar, 2024
本文介绍了 Surf-D 方法,一种使用扩散模型在任意拓扑结构上生成高质量三维形状表面的新方法。通过采用无符号距离场(UDF)作为表面表示,能够处理任意拓扑结构并生成复杂形状,解决了先前方法在拓扑结构和几何细节方面的限制。通过点云自编码器学习紧凑的潜在空间,并使用梯度查询来捕捉详细几何信息,结合课程学习策略提高嵌入过程的效率。使用预训练的形状潜变空间,采用潜变扩散模型获取各种形状的分布,并在多种模式下展示出出色的形状生成性能,并对无条件生成、类别条件生成、图像三维重建和文本到形状任务进行了广泛实验。
Nov, 2023