Nov, 2023

Soulstyler：基于大型语言模型引导图像风格转换的目标对象

PDF
TL;DR通过简单的文本描述，我们提出了 “Soulstyler” 框架，让用户可以引导对特定物体进行图像风格化处理。我们介绍了一个大型语言模型来解析文本，识别风格化的目标和具体风格，并结合基于 CLIP 的语义视觉嵌入编码器，使模型能够理解并匹配文本和图像内容。同时，我们还引入了一种新颖的局部文本 - 图像块匹配损失函数，确保风格转换仅针对指定的目标对象，而非目标区域保持原始风格。实验结果表明，我们的模型能够根据文本描述准确进行目标对象的风格转换，而不影响背景区域的风格。
image style transfercomputer graphicscomputer visionlarge language modelstylization goals
发现论文，激发创造
  • FastCLIPstyler: 使用样式表示进行无需优化的基于文本的图像风格转移

    通过使用文本输入代替语言风格参考图像的方式，创建一种通用的文本样式转移网络，能够在单次前向传递中对任意文本输入进行图像样式化处理，能够比 CLIPstyler 快约 1000 倍，且消除了一些不必要的图像失真问题，并可选用微调步骤以提高生成图像的质量。

    Oct, 2022

  • DreamStyler：使用文本到图像扩散模型进行风格反演的绘画

    DreamStyler 是一种新的框架，用于艺术图像合成，具备文本到图像合成和风格转换的能力，通过多阶段的文本嵌入和上下文感知的文本提示来优化图像质量，并具备适应一系列风格参考的灵活性，实验证明其在多种场景下的卓越性能，显示出在艺术产品创作方面的潜在优势。

    Sep, 2023

  • CLIPstyler：使用单一文本条件进行图像风格转移

    提出了一种全新的神经风格迁移框架，使用户能够使用文本描述而非参考图像来实现图像的风格迁移，在实验中证实了通过使用多视图扩充的补丁式文本 - 图像匹配 Loss 来实现对内容图像的样式转移，从而实现了具有语义相似性的现实纹理风格转移。

    Dec, 2021

  • CLIP3Dstyler: 语言引导的 3D 任意神经风格迁移

    本文提出了一种新的基于语音指导的三维任意神经风格转移方法，通过改进方案解决了传统 2D 和 3D 方法不能解决的问题，匹配点云和语音的不同特征，并提高文本风格可辨别性，在多个场景下实现了高效的风格迁移。

    May, 2023

  • DiffStyler：基于扩散的局部图像风格转移

    DiffStyler 是一种新方法，通过利用基于 LoRA 的文本到图像扩散模型来实现高效且精确的任意图像风格转移，该方法结合了跨 LoRA 特征和注意注入的策略，旨在在内容保持和风格整合之间取得更和谐的平衡。

    Mar, 2024

  • 生成艺术家：一种语义感知和可控的 CLIP 样式转换器

    本文介绍了一种基于预训练的 CLIP 文本 - 图像嵌入模型和 FCN 语义分割网络的图像风格转移框架，其中 Generative Artisan 解决了 CLIPstyler 的失败情况，并在肖像和包含人物的实景中获得了比 CLIPstyler 更好的定量和定性结果， 使得商业场景如修图图形软件成为可能。

    Jul, 2022

  • Sem-CS：面向基于文本的图像风格转换的语义 CLIP 样式器

    提出了一种基于全局前景损失和全局背景损失的 Semantic CLIPStyler 框架用于实现语义风格迁移，结果优于基于 CLIPStyler 的框架。

    Jul, 2023

  • 自由文本深度图像风格转移

    本文提出了一种新颖的深度神经风格迁移方法，通过生成从任意用户文本输入中得到的风格图像。使用语言模型和风格迁移模型形成一个无缝的流水线，可以创建具有相似损失和改进质量的输出图像，与基线风格迁移方法相比较。开发了一个概念验证工具以集成模型并展示从自由文本进行深度图像风格转移的有效性。

    Dec, 2022

  • 语言驱动的图像风格迁移

    引入了一个新的任务，即以语言为驱动的艺术风格转移（LDAST），通过文本引导操纵内容图像的风格，所提出的对比语言视觉艺术家（CLVA）可以从风格指令中提取视觉语义并通过分块风格鉴别器实现 LDAST。

    Jun, 2021

  • TinyStyler: 高效的少样本文字风格转换与作者嵌入

    TinyStyler 是一种轻量但高效的文本风格转换方法，利用小语言模型和预训练的作者嵌入来进行有效的少样本文本风格转换，表现优于 GPT-4，并在自动和人工评估中超过最近的可控文本生成方法。

    Jun, 2024