Dec, 2023

扩散操作：通过将激活提升至三维实现扩散模型中的三维编辑

HTML
PDF
TL;DRDiffusion Handles通过运用事先训练好的扩散模型和2D图像深度估计，实现了在扩散图像上进行3D对象编辑的新方法。通过将对象的扩散激活提升到3D空间，并在图像空间中反投影，应用具有标识控制的扩散过程，生成了保持对象身份的逼真编辑图像，显示出复杂的3D遮挡和光照效果。量化评估和用户研究表明，Diffusion Handles在3D编辑和标识控制方面的输出更加逼真且优于先前的研究成果。
发现论文，激发创造
  • RenderDiffusion：用于3D重建、修补与生成的图像扩散

    本文提出了RenderDiffusion，这是第一个用于3D生成和推断的扩散模型，使用仅有的单眼2D监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要2D监督。我们在FFHQ、AFHQ、ShapeNet和CLEVR数据集上评估了RenderDiffusion，展示了生成3D场景和从2D图像中推理3D场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用2D修复来编辑3D场景。

    Nov, 2022

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的3D物体生成和编辑

    本文提出了一种基于文本引导扩散模型的3D场景生成、编辑和新视角合成方法，并重点讨论了3D一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • 扩散刷：基于潜在扩散模型的AI生成图像编辑工具

    本文提出了一种基于潜在扩散模型的工具Diffusion Brush，用于对人工智能合成的图像进行高效的局部微调，在保留图像原始内容的同时，引入新的随机噪声模式以定位特定区域，通过与其他图像修复技术和编辑软件的比较，验证了我们这种方法的可用性和有效性。

    May, 2023

  • 将3D几何控制添加到扩散模型中

    本篇论文提出了一种利用3D geometry control和visual prompts的扩展diffusion models生成图像的方法，可应用于计算机视觉任务并经过多个数据集的多次实验验证其效果。

    Jun, 2023

  • Inpaint3D: 使用2D修复扩散生成3D场景内容

    本文介绍了一种新颖的方法，通过将2D扩散模型提炼为学习的3D场景表示（例如NeRF），对给定的有掩模的多视图图像进行3D区域修补。

    Dec, 2023

  • SIGNeRF: 基于场景集成生成的神经辐射场

    SIGNeRF是一种快速和可控的NeRF场景编辑和场景整合对象生成的新方法，通过图像扩散模型的深度条件机制，在一次迭代中基于参考图像集合对原始NeRF进行更新和改进，从而实现三维一致性视图生成。

    Jan, 2024

  • 基于扩散模型的图像编辑：一项综述

    调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

    Feb, 2024

  • 扩散模型是几何评论者：使用预训练的扩散先验进行单图像三维编辑

    提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本-图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。

    Mar, 2024

  • 使用分层扩散笔简化图像编辑

    基于层次扩散刷子的实时图像编辑技术结合了图像编辑概念，通过精细的区域导向修改中间去噪步骤，保持输入图像的完整性和上下文，并在高端消费级GPU上在140毫秒内呈现512x512图像的单个编辑，从而实现实时反馈和候选编辑的快速探索。通过用户研究验证了方法和编辑系统的可行性和有效性，对比了现有技术如InstructPix2Pix和Stable Diffusion Inpainting在图像优化方面的表现。该方法在对象属性调整、错误修正和顺序提示式对象放置和操作等各种任务上表现出有效性，展示了它提升创作工作流程的多功能性和潜力。

    May, 2024

  • InsertDiffusion: 无需训练的扩散架构实现对象的身份保持可视化

    该论文介绍了InsertDiffusion，一种新颖的、无需训练的扩散架构，可以高效地将对象嵌入图像并保持其结构和特征，通过将生成任务分解为独立步骤，该方法为产品设计和市场营销中的快速、可适应的可视化提供了可扩展的解决方案，并在图像逼真度和与输入条件对齐方面展现了优异性能。

    Jul, 2024