CVPRMay, 2024

最少：基于本地文本的图像风格迁移

PDF
TL;DR本研究通过文本描述实现了基于文本条件的风格转换，评估了文本条件图像编辑和风格转换技术对精确 “局部” 风格转换的细粒度理解，发现当前方法在有效完成局部风格转换方面存在问题。因此，我们设计了一个端到端的流程，根据用户的意图，确保局部风格转换的有效性，并通过定量和定性分析证明了我们方法的有效性。
text-conditioned style transferartistic styleslocal style transferuser promptsimage editing
发现论文，激发创造
  • CLIPstyler：使用单一文本条件进行图像风格转移

    提出了一种全新的神经风格迁移框架，使用户能够使用文本描述而非参考图像来实现图像的风格迁移，在实验中证实了通过使用多视图扩充的补丁式文本 - 图像匹配 Loss 来实现对内容图像的样式转移，从而实现了具有语义相似性的现实纹理风格转移。

    Dec, 2021

  • 区域控制的风格转换

    我们提出了一种图像风格转化的训练方法，通过使用损失函数来约束不同区域的风格强度，并引入了一种特征融合方法，通过线性转换内容特征来保持其语义关系，该方法在大量实验证明了其有效性。

    Oct, 2023

  • DiffStyler：基于扩散的局部图像风格转移

    DiffStyler 是一种新方法，通过利用基于 LoRA 的文本到图像扩散模型来实现高效且精确的任意图像风格转移，该方法结合了跨 LoRA 特征和注意注入的策略，旨在在内容保持和风格整合之间取得更和谐的平衡。

    Mar, 2024

  • FastCLIPstyler: 使用样式表示进行无需优化的基于文本的图像风格转移

    通过使用文本输入代替语言风格参考图像的方式，创建一种通用的文本样式转移网络，能够在单次前向传递中对任意文本输入进行图像样式化处理，能够比 CLIPstyler 快约 1000 倍，且消除了一些不必要的图像失真问题，并可选用微调步骤以提高生成图像的质量。

    Oct, 2022

  • 语言驱动的图像风格迁移

    引入了一个新的任务，即以语言为驱动的艺术风格转移（LDAST），通过文本引导操纵内容图像的风格，所提出的对比语言视觉艺术家（CLVA）可以从风格指令中提取视觉语义并通过分块风格鉴别器实现 LDAST。

    Jun, 2021

  • 无监督文本风格转移中的结构内容保持

    本文提出了一种基于结构化细粒度监督的内容保留模型，利用语言信息并设定模型目标以达到在改变句子的风格的同时更好地保留与风格无关的内容，进行情感和政治倾向转换任务的实验表明该模型在内容保留和风格转换上表现出显著改善。

    Oct, 2018

  • Soulstyler：基于大型语言模型引导图像风格转换的目标对象

    通过简单的文本描述，我们提出了 “Soulstyler” 框架，让用户可以引导对特定物体进行图像风格化处理。我们介绍了一个大型语言模型来解析文本，识别风格化的目标和具体风格，并结合基于 CLIP 的语义视觉嵌入编码器，使模型能够理解并匹配文本和图像内容。同时，我们还引入了一种新颖的局部文本 - 图像块匹配损失函数，确保风格转换仅针对指定的目标对象，而非目标区域保持原始风格。实验结果表明，我们的模型能够根据文本描述准确进行目标对象的风格转换，而不影响背景区域的风格。

    Nov, 2023

  • 一个用于图像风格转换的内容变换块

    该论文主要研究了利用内容转换模块和归一化层实现以样式为导向的图像风格转移，并且能够实现高分辨率图像合成和实时视频风格化，通过定量和定性的实验验证了该方法的有效性。

    Mar, 2020

  • SimpleStyle：一种可适应的风格转移方法

    本文提出了 SimpleStyle 方法，它包含了受控去噪和输出过滤两个简单部分，从而有效地实现了文本风格转换，并通过实验验证了其有效性。同时，作者还引入了一种名为 “soft noising” 的新技术来进一步改进系统性能，并将其应用于社交网络中真实文本数据的风格转换。作者建议 SimpleStyle 方法可作为属性控制文本重写领域的基准方法。

    Dec, 2022

  • TextStyleBrush：从单一示例中传输文本美学

    我们提出了一种新颖的方法来将文本图像的内容与其外观的所有方面分离开来，然后将所得到的外观表示应用于新的内容，以将源样式一次性转移给新的内容。我们通过自监督学习的方式学习了这种分离过程。我们的方法可以处理整个字块，无需将文本从背景分割开，也不需要按字符处理或对字符串长度进行假设。我们在不同的文本领域展示了结果，这些结果以前需要使用专门的方法，例如场景文本、手写文本。

    Jun, 2021