Mar, 2024

NeuSDFusion：一种面向空间感知的生成模型用于 3D 形状补全、重构和生成

PDF
TL;DR介绍了一种新型的空间感知的 3D 形状生成框架，利用 2D 平面表示增强 3D 形状建模，通过使用正交 2D 平面直接学习三维形状的连续有符号距离场表示，以确保空间一致性和减少内存使用，并通过基于 Transformer 的自编码结构精确实施不同平面之间的空间对应关系，促进生成的 3D 形状中空间关系的保留，从而在无条件形状生成、多模态形状补全、单视图重建和文本到形状合成等各种任务上始终优于最先进的 3D 形状生成方法。
3d shape generationspatial-aware2d plane representationscontinuous signed distance fieldtransformer-based autoencoder
发现论文，激发创造
  • SDFusion: 多模态 3D 形状完成，重建和生成

    该论文提出了一种新的框架，用于简化业余用户的 3D 资产生成。这种方法支持多种输入模态，并能够对每个输入的强度进行调整，从而允许用户同时使用不完整的形状、图像和文字描述来生成形状，并提供每个输入的相对权重和互动性。

    Dec, 2022

  • Diffusion-SDF: 基于体素扩散的文本到形状生成

    该论文提出了一种新的生成式 3D 建模框架 ——Diffusion-SDF，通过使用 SDF 自编码器和 Voxelized Diffusion 模型，能够根据指定的文本描述生成高质量和高度多样化的 3D 形状，其中还包括文本条件下的形状补全和操作。

    Dec, 2022

  • SC-Diff：使用潜在扩散模型进行三维形状补全

    本文介绍了一种基于 3D 潜在扩散模型的 3D 形状补全方法，该方法通过交叉注意力和空间特征整合实现以图像为基础的条件和以 3D 特征为基础的条件，以高分辨率、真实感的方式完成形状补全。

    Mar, 2024

  • 具有质量感知形状补全的鲁棒三维跟踪

    通过形状补全方法构建稠密而完整的点云目标表示，从而实现鲁棒的三维跟踪，并借助体素化的关系建模模块和框精炼模块提高跟踪性能。

    Dec, 2023

  • 三维生成模型的镶嵌 —SDF 方法

    本文介绍了一种新的 3D 形状表示方法，名为 Mosaic-SDF（M-SDF），它通过使用一组分布在形状边界附近的局部网格来近似给定形状的有符号距离函数（SDF）。M-SDF 表示具有高效计算、参数效率和与基于 Transformer 的架构兼容等优点，在 3D 生成流模型的训练中展示了其有效性。

    Dec, 2023

  • 基于局部注意力机制的 SDF 扩散模型用于可控的三维形状生成

    提出了一种基于扩散的 3D 形状生成框架，名为局部注意力 SDF 扩散，可通过 2D 草图图像输入建模可信的 3D 形状，实现局部控制性和模型普适性的提高。

    May, 2023

  • 超级 SDFusion: 提升 3D 文本到形状生成的语言和几何层次结构的桥接

    提出了一种基于超几何空间的分层文本到形状生成模型，利用超几何空间学习文本和 3D 形状的分层表示，并通过引入双分支结构嵌入文本特征于 3D 特征空间，最终得到具有分层结构的生成 3D 形状，实验结果显示在现有文本到形状数据集上取得了最先进的效果。

    Mar, 2024

  • 概率隐式场景补全

    该研究提出了一种面向大规模 3D 场景连续几何的概率形状完成方法，该方法利用生成细胞自动机学习多模态分布，通过稀疏体素嵌入渐进式生成连续形状，其训练目标最大化完整形状分布的变分下限，并通过实验证明了相比于确定性模型，该方法在几何完成方面的表现更佳。

    Apr, 2022

  • 基于隐式 SDF 的 StyleGAN 3D 形状生成

    介绍了一种基于 StyleGAN2 的深度学习方法来生成三维形状，称为 SDF-StyleGAN，使用隐式有符号距离函数（SDF）作为三维形状表示，并引入两种新的全局和局部形状鉴别器，在形状几何和视觉质量方面显著提高了性能。

    Jun, 2022

  • GEM3D：三维形状合成的生成方法

    GEM3D 是一种新的深度、拓扑感知的 3D 形状生成模型，通过神经骨架为基础的表示编码形状拓扑和几何信息，生成更准确的拓扑和几何信息的表面，并应用于形状综合和点云重建任务，取得了显著的表面重建和多样化形状生成结果。

    Feb, 2024