CVPRDec, 2022

SDFusion: 多模态 3D 形状完成，重建和生成

PDF
TL;DR该论文提出了一种新的框架，用于简化业余用户的 3D 资产生成。这种方法支持多种输入模态，并能够对每个输入的强度进行调整，从而允许用户同时使用不完整的形状、图像和文字描述来生成形状，并提供每个输入的相对权重和互动性。
3d asset generationinteractive generationmulti-modal inputsshape completiontext-to-3d
发现论文，激发创造
  • NeuSDFusion：一种面向空间感知的生成模型用于 3D 形状补全、重构和生成

    介绍了一种新型的空间感知的 3D 形状生成框架，利用 2D 平面表示增强 3D 形状建模，通过使用正交 2D 平面直接学习三维形状的连续有符号距离场表示，以确保空间一致性和减少内存使用，并通过基于 Transformer 的自编码结构精确实施不同平面之间的空间对应关系，促进生成的 3D 形状中空间关系的保留，从而在无条件形状生成、多模态形状补全、单视图重建和文本到形状合成等各种任务上始终优于最先进的 3D 形状生成方法。

    Mar, 2024

  • SC-Diff：使用潜在扩散模型进行三维形状补全

    本文介绍了一种基于 3D 潜在扩散模型的 3D 形状补全方法，该方法通过交叉注意力和空间特征整合实现以图像为基础的条件和以 3D 特征为基础的条件，以高分辨率、真实感的方式完成形状补全。

    Mar, 2024

  • Diffusion-SDF: 基于体素扩散的文本到形状生成

    该论文提出了一种新的生成式 3D 建模框架 ——Diffusion-SDF，通过使用 SDF 自编码器和 Voxelized Diffusion 模型，能够根据指定的文本描述生成高质量和高度多样化的 3D 形状，其中还包括文本条件下的形状补全和操作。

    Dec, 2022

  • 多模态形状补全的条件生成对抗网络

    这篇论文提出了一种用多模式条件生成模型进行多维形状补全的方法，能够消除单一输出方法存在的不确定性以获得更多的结果。通过多个数据集的实验，证明了该方法的多样性和质量。

    Mar, 2020

  • DiffComplete：基于扩散的生成式三维形状补全

    提出了一种新的基于扩散的形状完成方法，将形状完成作为一种基于条件的生成任务，并通过分层特征聚合机制和包含性感知融合策略来实现形状完成，从而在形状完成方面取得了最新的技术成果。

    Jun, 2023

  • 跨模态三维形状生成与操作

    该论文提出了一种通用的多模态生成模型，通过共享潜在空间将 2D 模态和隐式 3D 表示耦合在一起，实现了通过简单地传播来自特定 2D 控制模态的编辑，从而实现了多样化的 3D 生成和操作。

    Jul, 2022

  • 超级 SDFusion: 提升 3D 文本到形状生成的语言和几何层次结构的桥接

    提出了一种基于超几何空间的分层文本到形状生成模型，利用超几何空间学习文本和 3D 形状的分层表示，并通过引入双分支结构嵌入文本特征于 3D 特征空间，最终得到具有分层结构的生成 3D 形状，实验结果显示在现有文本到形状数据集上取得了最先进的效果。

    Mar, 2024

  • 多视角 3D 物体重建和不确定性建模与神经形状先验

    通过神经对象表示学习对象形状分布并将其映射到潜在空间，我们利用不确定性感知编码器直接从单个输入图像生成具有不确定性的潜在代码以模拟 3D 物体重建领域中的不确定性，并在贝叶斯框架下提出增量融合方法来融合多视角观测的潜在编码，从而提高 3D 对象重建的准确性。

    Jun, 2023

  • 基于局部注意力机制的 SDF 扩散模型用于可控的三维形状生成

    提出了一种基于扩散的 3D 形状生成框架，名为局部注意力 SDF 扩散，可通过 2D 草图图像输入建模可信的 3D 形状，实现局部控制性和模型普适性的提高。

    May, 2023

  • 通过风格调制的生成对抗网络实现多样化的形状补全

    通过引入多样性惩罚和多尺度鉴别器，我们提出了一种新颖的条件生成对抗网络，可以从部分观察到的点云中生成多种多样的合理完整形状，这一方法在尊重部分观测的同时获得了更大的完成多样性。

    Nov, 2023