Nov, 2023

FreePIH：无需训练的画家风格图像和谐化与扩散模型

PDF
TL;DR提供了高效的无需训练的画家式图像协调（PIH）方法，称为 FreePIH，仅利用预训练的扩散模型实现最先进的协调结果。通过将降噪过程作为插件模块应用于前景图像的风格转移，以直接基于降噪实现协调，结合多尺度特征来保证协调图像的忠实度，并提高生成质量。
painterly image harmonizationtraining-freeforeground objectdenoisinggeneration quality
发现论文，激发创造
  • 使用扩散模型进行绘画图像协调

    我们提出了一个新颖的 Painterly Harmonization stable Diffusion model (PHDiffusion)，通过自适应编码器和双编码器融合模块，实现了更好地插入摄影物体到绘画中并获得艺术上一致的复合图像，能更充分地风格化前景并同时保留更细的内容。

    Aug, 2023

  • 无训练和提示的通用绘画调和 —— 基于图像注意力共享的方法

    无需训练和提示的综合画家感知融合方法通过利用图像间注意力共享，重新定义自注意机制并跨图像信息跟踪与提升性能，同时提出新的综合画家感知融合基准测评方法，实验证明了其在多个基准测试中的优越性能。

    Apr, 2024

  • DiffHarmony：潜在扩散模型与图像融合

    本研究旨在解决图像融合的问题，通过调整图像的前景与背景以达到统一的视觉一致性。研究采用预训练的潜在扩散模型生成和初步处理模糊的初始图像，通过两种策略（在推理过程中利用高分辨率图像和引入额外的优化阶段）进一步提高初步处理后图像的清晰度，并通过在 iHarmony4 数据集上进行大量实验证明了我们方法的优越性。

    Apr, 2024

  • 利用去噪实现拼贴，修复和和谐化：使用预训练的扩散模型进行主题驱动的图像编辑

    本研究提出了一种名为 PhD 的框架，它利用样例图像和文本描述来指定用户意图，通过对生成或编辑的图像进行插入、修补和协调来保证其视觉一致性，并通过实验验证其在主题驱动的图像编辑和基于参考主题的文本驱动场景生成方面均达到了最先进的性能。

    Jun, 2023

  • 深度图像基于光照协同处理

    本文提出了一种深度图像基于的照明和谐 GAN 框架 (DIH-GAN)，该框架通过应用多尺度注意机制和照明交换策略直接推断插入前景物体与相应背景场景之间的映射关系，同时使用对抗学习策略进一步优化照明和谐效果；通过综合实验验证了 DIH-GAN 在图像对象照明和谐编辑方面的实用和有效性，并证实了其在现有方法中的优越性。

    Jul, 2021

  • 扩散模型下的图像融合

    通过应用扩散模型，我们比较了两种条件性扩散模型 (Classifier-Guidance 和 Classifier-Free) 在处理前景图像的亮度和颜色调整，从而达到与背景无缝融合的视觉效果，提出了一种新的图像和谐化方法。

    Jun, 2023

  • 从低级风格到高级风格的渐进式绘画影像融合

    绘画风格图像协调网络通过渐进的多阶段协调网络，从低级样式（如颜色、简单纹理）到高级样式（如复杂纹理），将摄影前景对象与绘画背景协调起来，并通过早期退出策略自动决定适当的退出阶段，以提高解释性和协调性能。在基准数据集上进行的大量实验证明了渐进协调网络的有效性。

    Dec, 2023

  • 双域绘画风格图像融合

    该研究提出了一种新颖的画风图像融合网络，由双域生成器和双域判别器组成，通过在空间域和频率域中使用 AdaIN 模块和 ResFFT 模块，进行融合并在拒绝感知机制中优化结果，在基准数据集上进行了广泛的实验并表明了该方法的有效性。

    Dec, 2022

  • 用于即插即用图像恢复的去噪扩散模型

    本文提出了 DiffPIR，将传统的 plug-and-play 方法集成到扩散采样框架中，以期在保留扩散模型生成能力的同时完成图像还原任务，实验结果表明，DiffPIR 在三项代表性图像还原任务上取得了最先进的性能。

    May, 2023

  • 从画家的作品中学习的绘画图像和谐化

    在这项研究中，我们探索了从艺术画中学习绘画图像的目标样式，以实现绘画图像的协调处理。通过学习背景风格和对象信息到对象样式的映射，我们能够生成目标风格的复合对象，进而协调编码器特征图并生成协调图像。对基准数据集的广泛实验验证了我们提出的方法的有效性。

    Dec, 2023