CLIPstyler:使用单一文本条件进行图像风格转移
本文提出了一种新的图像风格转移算法,结合了纹理合成算法和卷积神经网络,通过保持选定区域的内容不变,同时在其他区域产生幻觉和丰富的风格,得到视觉上令人愉悦和多样化的结果,与最近的卷积神经网络风格转移算法相当竞争,且速度快、灵活性强。
Sep, 2016
本研究提出了基于多样性的风格转换技术(MST),通过将风格图像特征聚类为次级风格组件,并采用图割公式将其与本地内容特征相匹配来明确考虑内容和风格图像的语义模式匹配,从而实现更灵活,更通用的风格转换技术。
Apr, 2019
研究如何通过定量评估程序改进样式转移,在使用 Effectiveness (E) 和 Coherence (C) 统计方法进行比较一些 Neural Style Transfer(NST) 方法的相对性能时发现了几个有趣的属性以及样式权重在改善 EC 分数方面影响较小。
Oct, 2019
本文介绍了一种基于预训练的CLIP文本-图像嵌入模型和FCN语义分割网络的图像风格转移框架,其中Generative Artisan解决了CLIPstyler的失败情况,并在肖像和包含人物的实景中获得了比CLIPstyler更好的定量和定性结果, 使得商业场景如修图图形软件成为可能。
Jul, 2022
通过使用文本输入代替语言风格参考图像的方式,创建一种通用的文本样式转移网络,能够在单次前向传递中对任意文本输入进行图像样式化处理,能够比CLIPstyler快约1000倍,且消除了一些不必要的图像失真问题,并可选用微调步骤以提高生成图像的质量。
Oct, 2022
本文提出了一种新的基于语音指导的三维任意神经风格转移方法,通过改进方案解决了传统2D和3D方法不能解决的问题,匹配点云和语音的不同特征,并提高文本风格可辨别性,在多个场景下实现了高效的风格迁移。
May, 2023
提出了一种基于全局前景损失和全局背景损失的Semantic CLIPStyler框架用于实现语义风格迁移,结果优于基于CLIPStyler的框架。
Jul, 2023
通过简单的文本描述,我们提出了“Soulstyler”框架,让用户可以引导对特定物体进行图像风格化处理。我们介绍了一个大型语言模型来解析文本,识别风格化的目标和具体风格,并结合基于CLIP的语义视觉嵌入编码器,使模型能够理解并匹配文本和图像内容。同时,我们还引入了一种新颖的局部文本-图像块匹配损失函数,确保风格转换仅针对指定的目标对象,而非目标区域保持原始风格。实验结果表明,我们的模型能够根据文本描述准确进行目标对象的风格转换,而不影响背景区域的风格。
Nov, 2023
StyleMamba是一种有效的图像风格转换框架,通过将文本提示转化为相应的视觉风格来保持原始图像的内容完整性。它通过引入条件状态空间模型来加快处理速度,并且通过使用遮罩和二阶方向损失来优化风格化方向,从而大幅减少训练迭代次数和推理时间。与现有基线方法相比,广泛的实验和定性评估验证了我们方法的鲁棒性和优越的风格化性能。
May, 2024
本研究通过文本描述实现了基于文本条件的风格转换,评估了文本条件图像编辑和风格转换技术对精确“局部”风格转换的细粒度理解,发现当前方法在有效完成局部风格转换方面存在问题。因此,我们设计了一个端到端的流程,根据用户的意图,确保局部风格转换的有效性,并通过定量和定性分析证明了我们方法的有效性。
May, 2024