Mar, 2024

ShapeFusion：一种用于局部形状编辑的 3D 扩散模型

PDF
TL;DR在 3D 计算机视觉领域，参数化模型已成为创造逼真和富有表现力的 3D 头像的突破性方法论。本文利用扩散模型，在完全保留未编辑区域的同时，实现了对 3D 网格的多样化和完全局部化的编辑操作。与现有技术相比，我们的方法在形状操作方面更具可解释性，具有更大的局部化和生成多样性，并且推理速度更快。
3d computer visionparametric modelsdiffusion modelslocalized editingshape manipulations
发现论文，激发创造
  • 神经点云扩散用于解耦的 3D 形状和外观生成

    在电影、游戏、工程以及增强 / 虚拟现实等多种实际应用中，可控地生成 3D 资产具有重要意义。最近，扩散模型在生成 3D 对象的质量方面取得了显著的成果。然而，现有模型中没有一个能够实现对形状和外观的分离生成。我们首次提出了一种适用于 3D 扩散模型的合适表示方法，通过引入混合的点云和神经辐射场方法实现了这种分离，模拟了点位置的扩散过程，并结合高维特征空间的局部密度和亮度解码器。点位置表示对象的粗略形状，而点特征则允许对几何形状和外观细节进行建模。这种分离使得我们能够独立地对二者进行采样和控制。与之前的分离能力方法相比，我们的方法在生成方面达到了新的技术水平，降低了 30-90% 的 FID 分数，并且与其他非分离能力的最先进方法处于同一水平。

    Dec, 2023

  • 基于局部注意力机制的 SDF 扩散模型用于可控的三维形状生成

    提出了一种基于扩散的 3D 形状生成框架，名为局部注意力 SDF 扩散，可通过 2D 草图图像输入建模可信的 3D 形状，实现局部控制性和模型普适性的提高。

    May, 2023

  • 扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

    提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

    Mar, 2024

  • 拓扑感知的潜在扩散用于 3D 形状生成

    我们介绍了一个新的生成模型，它将潜在扩散与持续同调相结合，以创建具有高多样性的 3D 形状，重点关注它们的拓扑特征。

    Jan, 2024

  • 具有潜在三维扩散的局部感知形状生成

    本文提出了一种新颖的潜在的 3D 扩散模型来生成神经体素场，旨在实现准确的部件感知结构。通过对现有方法的比较，我们采用了两个关键设计来确保高质量和准确的部件感知生成。一方面，我们引入了潜在的 3D 扩散过程来生成神经体素场，使其能够以显著更高的分辨率生成富有纹理和几何细节。另一方面，我们引入了部件感知的形状解码器，将部件代码整合到神经体素场中，引导准确的部件分解并产生高质量的渲染结果。通过广泛实验和与现有最先进方法的比较，我们对我们的方法在四种不同类别的数据上进行了评估。结果表明，我们提出的方法在部件感知形状生成方面具有优秀的生成能力，优于现有最先进方法。

    May, 2024

  • SketchFFusion: 基于扩散模型的草图引导图像编辑

    本文提出了一种基于草图向量的条件扩散模型（SketchFFusion），用于实现基于用户提供的草图信息进行局部细节微调的图像编辑，并展示了其优于现有方法的生成性能。

    Apr, 2023

  • 基于扩散的人体姿态和形状编辑

    人物图像中的姿势和身体形状编辑一直受到越来越多的关注。然而，当前的方法在处理大幅度编辑时往往受到数据集偏见的困扰，导致逼真度和人物身份的退化。我们提出了一种一次性方法，可以实现大幅度编辑并保留身份信息。为了实现大幅度编辑，我们使用一个 3D 人体模型进行拟合，将输入图像投影到 3D 模型上，并改变人体的姿态和形状。由于初始纹理身体模型存在由于遮挡和不准确的身体形状引起的伪影，渲染图像经历了一种基于扩散的细化过程，在这个过程中，强噪声破坏了身体结构和身份，而不充分的噪声并没有起到帮助作用。因此，我们提出了一种迭代细化方法，首先对整个身体进行弱噪声处理，然后对脸部进行细化。通过自监督学习进一步增强了真实感，通过微调文本嵌入。我们的定量和定性评估表明，我们的方法在各种数据集上优于其他现有方法。

    Jan, 2024

  • Diffusion 3D 特征（Diff3F）：用精炼的语义特征装饰无纹理形状

    我们提出了 Diff3F 作为一种简单、健壮且与类别无关的特征描述符，可用于计算无纹理输入形状（网格或点云）。我们的方法从图像基础模型中提取扩散特征到输入形状。通过使用输入形状生成深度和法线图作为条件图像合成的指导，我们能够在 2D 上生成（扩散）特征，并在原始表面上进行提升和聚合。我们的关键观察是，即使从输入形状的多视图渲染得到的条件图像生成结果不一致，相关的图像特征是稳健的，并且可以直接在视图间进行聚合。这产生了输入形状上的语义特征，而无需额外的数据或训练。我们在多个基准测试（SHREC'19、SHREC'20 和 TOSCA）上进行了大量实验证明，我们的特征，作为语义而不是几何特征，能够在同构和非同构相关的形状族之间产生可靠的对应关系。

    Nov, 2023

  • 通过点 - 体素扩散生成和补全 3D 形状

    本文提出了一种新颖的概率生成建模方法，称为 Point-Voxel Diffusion（PVD），它是一个统一的、概率的公式，用于无条件的形状生成和多模态形状完成。PVD 将降噪扩散模型与 3D 形状的混合点 - 体素表示相结合，并通过优化变分下界来训练（条件）似然函数。实验证明了 PVD 的高保真度合成能力，以及从单视角深度扫描的真实对象中生成多个完成结果的能力。

    Apr, 2021

  • 基于部件的可控性三维点云生成和交叉扩散的 DiffFacto

    本文提出一个能够通过对形状的部分进行建模来实现可控部分点云生成的新颖概率生成模型 DiffFacto，通过独立建模每个部分的样式和配置分布的分解方法，以及利用交叉扩散网络生成一致和合理的形状。实验证明该方法在多方面产生良好的效果，并可用于形状插值、混合和变换编辑等不同功能应用。

    May, 2023