基于生成模型的零样本图像协调

Jul, 2023

Zero-Shot Image Harmonization with Generative Model Prior

Jianqi Chen, Zhengxia Zou, Yilan Zhang, Keyan Chen, Zhenwei Shi

TL;DR该文提出了一种零样本图片和谐方法，该方法利用了人类长期对和谐图片的先验知识，并通过预训练的生成模型来实现先验，同时引入注意力约束文本来指导和谐方向，并设计一定的方法来保持前景内容结构。实验表明了该方法的有效性。

Abstract

Recent image harmonization methods have demonstrated promising results. However, due to their heavy reliance on a large number of composite images, these works are expensive in the training phase and often fail t

image harmonization composite images generative models attention-constraint text foreground content structure

发现论文，激发创造

图像协调的前景感知语义表示

通过使用预先训练的分类网络，提出了一种新的体系结构来利用高级特征空间以实现图像和谐的目的，并在图像和谐基准测试中取得了 MSE 和 PSNR 指标的最新成果。

Jun, 2020

深度图像融合

该论文提出了一种用于图像融合的端到端深度卷积神经网络，通过收集大规模高质量的训练数据，能够更好地捕捉复合图像的背景和前景的上下文和语义信息，实验表明，所提出的网络优于以往的方法。

Feb, 2017

零样本文本到图像生成

本文介绍了一种基于 transformer 的 autoregressive 的文本 - 图像生成方法，其与以往的一些领域特定模型相比，具有更好的尺度和零样本表现。

Feb, 2021

ZeroCap：面向视觉语义算术的零样本图像到文本生成

本文介绍了一种将视觉语义模型和大型语言模型相结合的技术，实现了对图像生成描述性文本的能力，且可用于图像算术和视觉类比等高级视觉能力的应用。

Nov, 2021

无训练和提示的通用绘画调和 —— 基于图像注意力共享的方法

无需训练和提示的综合画家感知融合方法通过利用图像间注意力共享，重新定义自注意机制并跨图像信息跟踪与提升性能，同时提出新的综合画家感知融合基准测评方法，实验证明了其在多个基准测试中的优越性能。

Apr, 2024

跨图像注意力的零样本外观转换

利用文本到图像生成模型中的语义知识，在具有相似语义但形状可能差异大的物体之间进行视觉外观转换，通过建立跨图像的注意力机制和利用噪声编码或模型内部表示来提高输出图像质量，实现了零训练的目标。

Nov, 2023

无需训练的增强主体注意力引导的文本到图像生成

我们提出了一种主题驱动的生成框架，通过介入生成过程中的推理时间，强化注意力图，实现精确的属性绑定和特征注入，展示了卓越的零次生成能力，尤其在组合生成的挑战性任务中。

May, 2024

全局引导特征转化与关系蒸馏的深度图像和谐化

给定一个复合图像，图像协调旨在调整前景照明与背景一致。我们展示了使用全局信息指导前景特征转换可获得显着改善，并将前景 - 背景关系从真实图像转移到复合图像，为转换的编码器特征提供中间监督。此外，我们贡献了一个模拟自然照明变化的 ccHarmony 数据集。对 iHarmony4 和我们贡献的数据集进行了大量实验证明了我们方法的优越性。

Aug, 2023

具有生成图像先验的语义照片处理

本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合，解决了对已有自然照片的高级属性进行操控的问题，提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统，并在多个语义图像编辑任务上展示了方法的有效性。

May, 2020

连贯的零射视觉指令生成

该论文提出了一种简单的、无需训练的框架，通过整合文本理解和图像生成，解决了在生成视觉指令中保持物体的一致性和平滑状态转换的问题，实验证明该方法可以生成一致且具有视觉吸引力的指令。

Jun, 2024