Feb, 2024

DiLightNet：面向基于扩散的图像生成的细粒度照明控制

PDF
TL;DR该论文提出了一种新的方法来在基于扩散的图像生成过程中实现细粒度的灯光控制，通过为文本提示添加辐射提示的详细光照信息，结合经过预训练的扩散模型和 DiLightNet 来控制图像生成过程中的灯光。
lighting controldiffusion-based image generationradiance hintsdilightnettext prompts
发现论文，激发创造
  • 神经 Gaffer: 通过扩散重绘任何物体

    提出了一种新颖的端到端二维照明扩散模型 Neural Gaffer，通过将图像生成器条件化于目标环境图，可以在任意新环境照明条件下综合出准确、高质量的复照图像，而不需要显式场景分解。

    Jun, 2024

  • 扩散色彩：带文本引导的图像上色

    使用图像扩散技术和细粒度文本提示的新型图像上色框架，实现了既语义合适又能提高用户对上色过程控制水平的上色输出，通过预训练的生成扩散模型进行微调并评估颜色鲜艳度，适用于颜色增强和历史图像上色。

    Dec, 2023

  • LightIt: 扩散模型的光照建模与控制

    LightIt 方法通过使用阴影和法线图作为输入，在图像生成过程中实现了对光照的明确控制，并展示了在多个场景中高质量图像生成和光照控制的能力。

    Mar, 2024

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • DiFaReli: 扩散人脸照明

    我们提出了一种新的方法来进行野外单视图人脸重照。我们使用条件扩散隐式模型 (DDIM) 解码一个解离的光编码与 3D 形状和面部身份相关的其他编码，以达到最先进的性能，能够在标准基准数据集 Multi-PIE 上进行光照效果的真实再现。

    Apr, 2023

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 点亮夜晚：自动驾驶中无配对低光增强的多条件扩散框架

    我们的研究介绍了一种名为 LightDiff 的领域定制框架，该框架旨在增强自动驾驶应用中低光照图像的质量，通过使用多条件控制扩散模型并运用增强学习来引导扩散训练过程，从而在夜间条件下显著提高多个先进的三维检测器的性能并实现高视觉质量分数。

    Apr, 2024

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 零样本引导图像合成的分层渲染扩散模型

    本文介绍了增强依赖于文本查询的扩散模型的空间可控性的创新解决方案，提出了两个关键创新：视觉引导和分层渲染扩散（LRDiff）框架。该方法通过视觉引导和分层渲染策略实现更高效和准确的图像综合，用于满足特定的空间和上下文需求，并通过实验证明其在定量和定性上优于现有技术。

    Nov, 2023