Sep, 2023

ITEM3D：针对 3D 模型的光照感知方向纹理编辑

PDF
TL;DRITEM3D 通过渲染图像作为文本和 3D 表达之间的桥梁，利用扩散模型和可微分渲染技术，进一步优化表面纹理和环境映射，通过引入相对编辑方向和逐渐调整方向的优化目标，解决了 3D 纹理编辑任务中的文本歧义和外观噪声问题，并在各种 3D 物体上超越了现有方法，在文本引导的重新照明方面展示了明确的光照控制。
texture editing3d modelingautomatic 3d object editingdiffusion modelstext-guided relighting
发现论文，激发创造
  • OBJECT 3DIT：语言引导的三维感知图像编辑

    通过语言指导的 3D 感知编辑，本研究利用图像编辑工具对基于底层 3D 场景的对象进行编辑，介绍了 OBJECT 数据集和 3DIT 模型的能力。

    Jul, 2023

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • IT3D：通过显式视图合成改进的文本生成 3D 方法

    利用多视角图像和 Diffusion-GAN 方法在 Text-to-3D 技术中生成高质量图像。

    Aug, 2023

  • 基于文本指导的三维人脸合成 -- 从生成到编辑

    通过文本引导的三维人脸合成，从生成到编辑的统一框架，通过解耦生成几何和纹理来提高几何细节的生成效果，并利用生成几何作为纹理生成的条件，进一步提升几何与纹理的一致性结果；通过预训练扩散模型来更新面部几何或纹理以实现顺序编辑，并引入 UV 域一致性保持正则化以防止对不相关面部属性的无意更改，并提出自导向一致性权重策略以提高编辑效果与保持一致性；通过全面实验展示了该方法在人脸合成方面的优越性。

    Dec, 2023

  • EucliDreamer: 快速而高质量的稳定扩散深度三维模型纹理化

    本文采用一种新方法，通过给定文本提示和 3D 网格来生成 3D 模型的纹理。该方法考虑了额外的深度信息，利用深度条件稳定扩散的评分蒸馏采样过程生成纹理。我们在开源数据集 Objaverse 上运行了模型，并进行了用户研究，与各种 3D 纹理方法的结果进行了比较。我们证明了我们的模型可以生成更令人满意的结果，并为同一对象产生各种艺术风格。此外，在生成可比质量的纹理时，我们取得了更快的时间。我们还进行了彻底的消融研究，研究了不同因素对生成质量的影响，包括采样步骤、引导尺度、负提示、数据增强、高度范围和替代 SDS 方法。

    Nov, 2023

  • 无需重新训练的基于文本的 3D 场景编辑

    我们引入了一种名为 DN2N 的文本驱动编辑方法，使用现成的基于文本的图像编辑模型修改 3D 场景图片，并提出了一种去除噪声扰动的训练数据生成方法，以及交叉视图正则化项来帮助泛化 NeRF 模型，实现了友好、直观和实用的用户编辑体验，并实现了多种编辑类型的效果。

    Sep, 2023

  • Free-Editor: 零样本条件下的基于文本的 3D 场景编辑

    提出了一种新颖的无需重新训练模型的 3D 场景编辑技术 Free-Editor，采用单视图编辑方案以避免多视角风格不一致问题，并使用 Edit Transformer 实现视图内一致性和视图间风格迁移，实现了快速且多样化的编辑能力。

    Dec, 2023

  • UniDream：统一扩散先验用于可重灯效的文本生成三维

    利用 UniDream 框架通过整合统一的扩散先验方法来生成具有清晰的反照率纹理、更光滑表面、增强逼真度和卓越光照效果的 3D 物体。

    Dec, 2023

  • MaTe3D: 基于掩码引导的基于文本的三维人像编辑

    提出了名为 MaTe3D 的基于蒙版导向的文本驱动的三维感知肖像编辑方法。通过引入一种新的基于 SDF 的三维生成器以及基于 SDS 的推理优化方法，有效地模拟了全局和局部特征，并针对性地处理了几何和外貌不匹配的问题，从而成功生成了编辑后的三维感知人脸图像。

    Dec, 2023

  • TexSliders: 基於 CLIP 空間的擴散式紋理編輯

    应用扩散技术编辑纹理，通过操作 CLIP 图像嵌入来调节扩散生成，无需标注数据即可用自然语言提示进行编辑。

    May, 2024