使用扩散模型生成复合图像的阴影
本论文针对复合图像生成中前景物体与背景的阴影效果问题,提出了一个新的阴影生成方法 SGRNet,并构建了一个真实世界阴影生成数据集 DESOBA 来验证该方法的有效性。
Apr, 2021
本文研究了图像合成中生成真实阴影以使合成图像更逼真的问题。作者通过使用物体阴影检测和修复技术创建了一个名为 DESOBAv2 的大规模数据集,其中包含了大量的室外场景图像和物体阴影对。在真实图像和去除阴影图像的基础上,可以构建合成图像和目标图像对。
Aug, 2023
使用扩散模型进行纹理恢复在解决如何从含有阴影图像中推断出无阴影场景的问题上一直是个具有挑战性的难题。本文提出了使用扩散模型的方法,通过在扩散过程中逐渐细化阴影区域的细节,其中借鉴了具备无阴影图像特征的学习潜在特征空间,从而避免了只基于退化图像的传统方法存在的局限性。此外,我们还提出了通过将噪声特征与扩散网络融合来缓解训练过程中潜在的局部最优问题。我们的方法在 AISTD 数据集上的 RMSE 性能较之前的最佳方法提高了 13%,在 DESOBA 数据集上的 RMSE 性能较之前的最佳方法提高了 82%。
Dec, 2023
本研究提出了一种基于深度学习的去除影子方法,通过线性照明转换模拟影子的形成,使用 SP-Net 和 M-Net 网络分别预测影子的参数和阴影掩层,通过在 ISTD 数据集上训练,相比其他方法取得了 40%的错误率降低并使用扩充的 ISTD 数据集进一步优化了效果。
Aug, 2019
通过使用大规模预训练的扩散模型,我们提出了一种可控的图像合成方法,将图像混合、图像协调、视角综合和生成式合成统一为一个扩散模型,同时设计了一个自监督训练框架和一个定制化的训练数据准备方法,并通过局部增强模块提高合成图像中前景细节的保真性。我们的方法在公共基准和实际数据上进行了评估,结果表明我们的方法比现有方法能够生成更加忠实和可控的合成图像。
Aug, 2023
通过使用线性光照转换建模阴影效应,提出了一种深度学习方法,使用 SP-Net 和 M-Net 来预测阴影参数和阴影遮罩,并采用修补网络 I-Net 进一步优化结果,在 ISTD 数据集上测试表明,在阴影区域方面,我们的方法比现有方法提高了 20%,同时提出了一种基于补丁的弱监督阴影去除方法,并引入了一个用于评估阴影去除方法的视频数据集 SBU-Timelapse。
Dec, 2020
我们提出了一种基于语义引导的对抗扩散框架,用于自监督的去除阴影,并通过两个阶段的训练来改善生成图像的质量。我们的方法在多个公开数据集上进行实验,并证明了其有效性。
Jul, 2024
本文聚焦于为前景图像插入逼真的阴影以使合成图更具真实性,通过 3D 渲染技术创建了大规模数据集 RdSOBA,其中包括可控渲染技术下的阴影图像。
Jun, 2023
通过解释扩散模型为基于能量的模型,在训练和测试阶段中将一组扩散模型组合在一起,结构化生成,该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像,解决了 DALLE-2 在对象属性方面的困难。
Jun, 2022
通过消除图像中的阴影同时保留图像细节,Segment Anything (SAM) 模型在图像分割和计算机视觉领域树立了新的基准,但在区分阴影和背景时仍面临挑战。为了解决这个问题,我们开发了 Deshadow-Anything,考虑到大规模数据集的泛化,并对大规模数据集进行微调,实现了图像阴影去除。扩散模型可以沿着图像的边缘和纹理进行扩散,帮助去除阴影并保留图像的细节。此外,我们设计了多自注意引导 (MSAG) 和自适应输入扰动 (DDPM-AIP) 来加速扩散的迭代训练速度。阴影去除任务的实验证明这些方法可以有效提高图像修复性能。
Sep, 2023