本研究旨在解决图像融合的问题,通过调整图像的前景与背景以达到统一的视觉一致性。研究采用预训练的潜在扩散模型生成和初步处理模糊的初始图像,通过两种策略(在推理过程中利用高分辨率图像和引入额外的优化阶段)进一步提高初步处理后图像的清晰度,并通过在 iHarmony4 数据集上进行大量实验证明了我们方法的优越性。
Apr, 2024
通过使用大规模预训练的扩散模型,我们提出了一种可控的图像合成方法,将图像混合、图像协调、视角综合和生成式合成统一为一个扩散模型,同时设计了一个自监督训练框架和一个定制化的训练数据准备方法,并通过局部增强模块提高合成图像中前景细节的保真性。我们的方法在公共基准和实际数据上进行了评估,结果表明我们的方法比现有方法能够生成更加忠实和可控的合成图像。
Aug, 2023
我们提出了一个新颖的 Painterly Harmonization stable Diffusion model (PHDiffusion),通过自适应编码器和双编码器融合模块,实现了更好地插入摄影物体到绘画中并获得艺术上一致的复合图像,能更充分地风格化前景并同时保留更细的内容。
用于人像与新背景合成的一种考虑照明效果的扩散模型,通过引入灯光表示模块、对齐网络和数据模拟管道,实现了对全局色彩和亮度的调整以及场景中来自背景的关键照明线索的融合。该方法在视觉保真度和照明连贯性方面优于现有基准,在实际测试中表现出卓越的泛化能力,凸显了其多功能和实用性。
Dec, 2023
本研究介绍了一种在内在图像领域中制定的自我监督照明协调方法,通过估计中级视觉表征生成的大体阴影,再通过网络对其进行修正以生成与背景场景一致的协调再阴影,结合先前协调方法的思想,在色调域中执行参数化图像编辑,实现前景与背景的颜色外观匹配,并通过挑战性实际复合结果和用户研究验证我们方法的有效性和与最先进的协调方法相比增强的真实感。
该论文提出了一种用于图像融合的端到端深度卷积神经网络,通过收集大规模高质量的训练数据,能够更好地捕捉复合图像的背景和前景的上下文和语义信息,实验表明,所提出的网络优于以往的方法。
Feb, 2017
给定一个复合图像,图像协调旨在调整前景照明与背景一致。我们展示了使用全局信息指导前景特征转换可获得显着改善,并将前景 - 背景关系从真实图像转移到复合图像,为转换的编码器特征提供中间监督。此外,我们贡献了一个模拟自然照明变化的 ccHarmony 数据集。对 iHarmony4 和我们贡献的数据集进行了大量实验证明了我们方法的优越性。
本研究提出了一种基于深度学习的图像和谐网络,采用背景引导域转换的方式,通过背景信息对前景进行调整,实现了高质量的图像合成。
Sep, 2020
通过使用一个预训练的扩散模型,处理具有更大语义差异的复合视频,我们的研究提出了一个无需训练的流程,以确保输出的视觉协调性和跨帧连贯性。
Jan, 2024
本文提出了一种深度图像基于的照明和谐 GAN 框架 (DIH-GAN),该框架通过应用多尺度注意机制和照明交换策略直接推断插入前景物体与相应背景场景之间的映射关系,同时使用对抗学习策略进一步优化照明和谐效果;通过综合实验验证了 DIH-GAN 在图像对象照明和谐编辑方面的实用和有效性,并证实了其在现有方法中的优越性。
Jul, 2021