Apr, 2024

MuseumMaker: 持续自定义样式，避免灾难性遗忘

PDF
TL;DR提出了 MuseumMaker 方法，使用预训练的大型文本到图像（T2I）模型，通过遵循一系列定制风格的方式不断地合成图像，并作为一个博物馆逐渐积累这些创造性的艺术作品。MuseumMaker 能同时捕捉新风格的细微差别，并保持已学习风格的细节，验证了其在不同情境下的稳健性和多功能性。
pre-trained modelstext-to-imagecatastrophic forgettingstyle synthesismuseummaker
发现论文，激发创造
  • 创造你的世界：终身文本生成图像

    通过 L2DM 框架，本文研究了文本到图像生成模型中的知识遗忘和语义忽视问题，通过任务感知内存增强模块、弹性概念精馏模块、概念关注艺术家模块和正交关注模块，生成更准确、更忠实的图像。

    Sep, 2023

  • 通过细分和双重绑定实现任何艺术风格的文本到图像合成

    该研究论文介绍了一种名为 Single-StyleForge 的新方法，用于将预训练的文本到图像扩散模型进行个性化训练，从文本提示中生成指定风格的多样化图像。此外，研究还提出了一种名为 Multi-StyleForge 的改进方法，通过学习多个标记来改善风格和文本 - 图像对齐的质量，在六种不同的艺术风格上实验评估表明，在生成的图像质量和感知保真度指标（如 FID、KID 和 CLIP 分数）方面取得了显着的改善。

    Apr, 2024

  • Continual Diffusion：使用 C-LoRA 实现文本到图像的持续个性化

    本研究提出了一种新的方法 C-LoRA，用于解决文本到图像连续定制中的遗忘问题，并取得了良好的效果，为各种应用开启了新的可能性。

    Apr, 2023

  • MoMA: 快速个性化图像生成的多模式 LLM 适配器

    本篇论文介绍了 MoMA：一种基于开放词汇、无需训练的个性化图像模型，具备灵活的零样本能力。利用开源的多模态大型语言模型（MLLM），我们训练 MoMA 同时担任特征提取器和生成器的双重角色。该模型通过引入一种新颖的自注意力快捷方法，高效地将图像特征传递给图像扩散模型，从而提高生成图像中目标对象的相似度。作为一个调优自由、即插即用的模块，与其他方法相比，我们的模型只需一个参考图像即可生成具有高细节保真度、增强身份保留性和忠实响应的图像。我们的工作是开放源代码的，从而为所有人提供这些先进技术的通用访问。

    Apr, 2024

  • StyleDrop: 任何风格的文本到图像生成

    本文介绍了一种基于文本到图像模型的图像综合方法 StyleDrop，可以通过少量的可训练参数学习新的图像风格，并且能够很好地捕捉用户提供的颜色方案、阴影、设计模式、局部和全局效果，而且即使用户只提供一个指定了所需风格的图像，也能够产生令人印象深刻的结果。StyleDrop 实现于 Muse 上对比其他方法表现更优。

    Jun, 2023

  • 通过风格调整和内容保留实现少样本图像生成

    我们提出了一种配对图像重建方法，用于内容保留，通过引入图像转换模块到生成对抗网络转换过程中，在少样本设置中，定性和定量实验证明我们的方法始终优于现有方法。

    Nov, 2023

  • EEC: 学习图像编码和再生，用于持续学习

    使用自动编码器和神经风格转移的方法来解决持续学习中的灾难性遗忘和存储数据的内存限制问题，并取得了比最先进方法更高的分类准确率和更少的存储空间。

    Jan, 2021

  • 实时高清风格迁移的风格感知内容损失

    该论文提出了一种基于 Style-aware Content Loss 的 Encoder-Decoder 网络，可实现实时、高分辨率的图像和视频样式化，能够更好地捕捉样式对内容的微妙影响。

    Jul, 2018

  • InstantStyle：文本到图像生成中面向保留风格的免费午餐

    Tuning-free diffusion-based models have achieved promising results in image personalization and customization, but still face challenges in style-consistent image generation. This paper introduces InstantStyle, a framework that addresses these challenges by decoupling style and content, and injecting reference image features into style-specific blocks to achieve superior visual stylization outcomes.

    Apr, 2024

  • 样式生成：基于粗略匹配的图像合成

    使用粗略匹配的文本作为引导，本研究介绍了一种新颖的基于文本的风格生成方法，通过两阶段的生成对抗网络生成与细化图像风格，并通过实验证实了该方法的有效性和实际应用价值。

    Sep, 2023