Aug, 2024

FAGStyle：基于高斯曲面特征增强的零样本文本引导扩散图像风格迁移

HTML
PDF
TL;DR本研究解决了现有图像风格迁移方法在文本引导下难以保持风格一致性和目标图像内容的问题。提出的FAGStyle方法通过滑动窗口裁剪技术和高斯曲面特征增强，实现了信息交互与内容一致性。实验结果表明，FAGStyle在多种源内容和风格下都能优于现有方法，保持源图像的语义内容。
发现论文，激发创造
  • 基于扩散的图像翻译：使用解缕分离的风格和内容表征

    本文提出了一种基于扩散的非监督图像转换方法，使用分离的风格和内容表征，并使用ViT模型中的中间键提取多头自注意层作为内容保存损失，并匹配文本驱动风格转移的[CLS]分类令牌，同时使用额外的CLIP损失，实验结果表明，该方法在文本引导和图像引导的转换任务中优于现有的基准模型。

    Sep, 2022

  • 文本引导扩散图像风格迁移的零样本对比损失

    本文提出了一种零样式迁移的扩散模型，该零样式迁移使用零额外训练或辅助网络的对比损失来处理内容保留问题，并在图像样式转换和图像到图像翻译中取得了优于现有方法的效果。

    Mar, 2023

  • 利用非对称梯度引导改进基于扩散的图像翻译

    本文提出了一种使用非对称梯度指导的扩散抽样反向过程的方法，以解决图像翻译中的风格转换和内容保留的权衡问题，并在文本引导和图像引导下进行了快速稳定的图像操作。

    Jun, 2023

  • DIFF-NST：用于可塑性神经风格迁移的扩散交错

    神经风格迁移（NST）是将神经技术应用于修改内容图像的艺术外观以匹配参考样式图像的研究领域。我们提出使用基于扩散模型的新类模型来执行风格迁移并实现可变形式的风格迁移，展示了如何在推理时利用这些模型的先验知识，探索了该领域新方向的研究成果。

    Jul, 2023

  • 控制样式：使用扩散先验生成基于文本的风格化图像

    提出了一种新的任务，文本驱动的风格化图像生成，以进一步增强内容创造中的可编辑性，通过升级经过训练的文本到图像模型与可训练的调制网络，同时引入扩散样式和内容正则化，实现了高质量的风格化文本到图像生成。

    Nov, 2023

  • $Z^*$：基于注意力重排的零样式转移

    通过理论分析和实验，本研究展示了扩散模型在零样式转换的有效性和优越性，并引入了交叉注意力重排策略，使样式信息能够直接提取并无缝集成到内容图像中。

    Nov, 2023

  • DiffStyler：基于扩散的局部图像风格转移

    DiffStyler是一种新方法，通过利用基于LoRA的文本到图像扩散模型来实现高效且精确的任意图像风格转移，该方法结合了跨LoRA特征和注意注入的策略，旨在在内容保持和风格整合之间取得更和谐的平衡。

    Mar, 2024

  • InstantStyle-Plus: 文本到图像生成中保留内容的风格转换

    通过将风格转移任务分解为风格、空间结构和语义内容三个核心元素，本研究提出了InstantStyle-Plus，一种注重原始内容完整性同时无缝整合目标风格的方法。通过有效的、轻量级的风格注入过程，并利用先进的InstantStyle框架，实现风格注入。为了增强内容保护，我们使用倒置的内容潜噪声和多功能的接插件式 ControlNet 来保持原始图像的内在布局。此外，还引入了全局语义适配器以增强语义内容的保真度，并使用风格提取器作为鉴别器提供辅助风格引导。

    Jun, 2024

  • FAGStyle：基于测地面特征增强的零样本文本引导扩散图像风格转移

    本研究解决了现有图像风格转移方法在保持内容一致性和风格准确性方面的局限。我们提出了FAGStyle，一种零-shot文本引导的扩散图像风格转移方法，通过结合滑动窗口裁剪技术和测地面上的特征增强实现了更好的风格控制和内容保持。实验结果显示，FAGStyle在多样化源内容和风格的应用中表现出优越性，能够有效保留源图像的语义内容。

    Aug, 2024

  • 超越色彩与线条：基于协调语义的零样本风格特定图像变换

    本研究解决了传统图像风格转换忽略语义差异的问题，提出了一种基于协调语义的零样本图像变换方案。该方案通过将图像转化为文本描述，并利用生成模型生成风格化图像，最终实现了在不同艺术风格下保持高语义一致性。实验结果表明，该方法在图像生成方面表现出很高的可信性，具有重要的应用潜力。

    Oct, 2024