Dec, 2023

使用稳定扩散进行卡尔文与霍布斯连环漫画的风格转换

PDF
TL;DR本研究提出了一种基于扩散微调的方法，在包含卡尔文和霍布斯漫画的数据集上进行样式转换，通过使用低秩调整（LoRA）训练稳定扩散版本 1.5 来加速微调过程，扩散本身由变分自动编码器（VAE）来处理，实验结果表明在相对较少的训练时间和优质输入数据的情况下能够获得视觉上吸引人的结果。
发现论文，激发创造
  • 使用 ChatGPT 和稳定扩散生成具有丰富故事情节的连贯漫画

    本文使用 ChatGPT 生成故事情节和对话，并使用稳定的扩散技术生成了漫画，采用了一种新颖的方法来评估 AI 生成的故事，并通过使用 LoRA，ControlNet 等进行稳定扩散的微调，实现了人物的逼真度和艺术风格的最佳表现。

    May, 2023

  • Style-A-Video：任意文本视频样式转移的敏捷扩散

    这篇文章提出了一种称为 Style-A-Video 的零样式迁移视频美化方法，利用生成式预训练转换器和图像潜在扩散模型，改善图像降噪过程的指导条件，从而在艺术表达和结构保护之间建立平衡，并采用采样优化和时间一致性模块，以达到优秀的内容保护和风格性能。

    May, 2023

  • 从 A 到 Z: 深度神经网络生成器的监督式风格和内容转移

    提出了一种新的神经网络结构来解决单张图像类比的问题，我们的网络是一个修改后的变分自编码器（VAE），支持有监督的训练和结构相似性目标的输出评估，通过对于 62 个字体从单个样例字母的生成展示出比现有技术更优异的结果。

    Mar, 2016

  • COCO 和 Weed 数据集的稳定扩散

    通过稳定扩散模型生成高分辨率图像，并利用这些图像提高检测模型的性能，这项研究有助于将稳定扩散模型应用于不同领域的分类和检测任务。

    Dec, 2023

  • DiffStyler：基于扩散的局部图像风格转移

    DiffStyler 是一种新方法，通过利用基于 LoRA 的文本到图像扩散模型来实现高效且精确的任意图像风格转移，该方法结合了跨 LoRA 特征和注意注入的策略，旨在在内容保持和风格整合之间取得更和谐的平衡。

    Mar, 2024

  • Cartoondiff: 使用扩散转换模型进行无需训练的卡通图像生成

    本文介绍了 CartoonDiff，一种基于扩散 Transformer 模型的无需训练的采样方法，用于生成图像卡通化效果。通过将扩散模型的逆向过程分解为语义生成和细节生成阶段，并在特定去噪步骤中对噪声图像的高频信号进行归一化，实现了图像卡通化过程。CartoonDiff 不需要任何额外的参考图像，复杂的模型设计或繁琐的参数调整。广泛的实验结果表明了 CartoonDiff 的强大能力。

    Sep, 2023

  • 样式注入在扩散中：适应大规模扩散模型进行风格转换的无训练方法

    基于预训练大规模扩散模型的一种新的艺术风格转换方法，通过操作自注意力层的特征作为交叉注意力机制的方式，实现样式的传递和内容的保留，并解决原始内容的破坏和样式颜色不协调的问题，证明在传统和基于扩散的风格转换基准测试中超越了现有方法。

    Dec, 2023

  • FreeStyle：使用扩散模型进行文本引导的风格转换的免费午餐

    本文介绍了一种创新的基于预训练大型扩散模型的风格转换方法 FreeStyle，无需进一步优化，通过对所需风格的文本描述，实现风格转换，并且实验结果表明了其在不同内容图像和风格文本提示下的高质量综合和保真度。

    Jan, 2024

  • $Z^*$：基于注意力重排的零样式转移

    通过理论分析和实验，本研究展示了扩散模型在零样式转换的有效性和优越性，并引入了交叉注意力重排策略，使样式信息能够直接提取并无缝集成到内容图像中。

    Nov, 2023

  • 过时扩散：利用老派方法生成逼真的 5D 电影

    通过在稳定扩散中满熵状态下固化和钙化的方法，我们提出了稀泥扩散，该方法在生成具有超人类数量手指的图像方面实现了超人类性能。

    Apr, 2024