Aug, 2023

DiffColor：使用扩散模型进行高保真度文本引导图像上色

PDF
TL;DR利用预训练的扩散模型来恢复以提示文本为条件的鲜艳颜色而无需任何额外输入，具有高质量的图像重建、丰富多样的颜色、可在上下文中进行彩色显示以及对象级可控颜色化效果，超过先前的研究在视觉质量、颜色保真度和颜色化选项的多样性方面的表现。
image colorizationdiffcolorpre-trained diffusion modelsobject-level color controlin-context controllable colorization
发现论文，激发创造
  • 扩散色彩：带文本引导的图像上色

    使用图像扩散技术和细粒度文本提示的新型图像上色框架，实现了既语义合适又能提高用户对上色过程控制水平的上色输出，通过预训练的生成扩散模型进行微调并评估颜色鲜艳度，适用于颜色增强和历史图像上色。

    Dec, 2023

  • 预训练文本转图像扩散模型进行视频上色

    本文介绍了 ColorDiffuser：一种预训练的文本到图像潜在扩散模型的视频上色适应方法，包括颜色传播关注和交替采样策略两种技术，有效提高了模型在视频上色中的色彩保真度、时间上的一致性以及视觉质量，实验表明该方法优于现有方法。

    Jun, 2023

  • 可调节的草图上色方法：基于参考图像和文本

    该研究论文探讨了基于图像引导的扩散模型在参考图像引导下的素描着色，并提出了两种使用不同图像特征作为条件输入的变种隐式扩散模型，以及相应的调整结果方法。通过定性和定量实验以及用户研究，全面评估了这些模型的性能。

    Jan, 2024

  • 基于 Piggyback 模型的改进扩散图像上色

    本文介绍了一个基于 T2I 模型的彩色转换模型，利用预训练的 T2I 模型的颜色先验知识，结合扩散引导器产生符合灰度图像视觉语义的潜在色调，接着使用一个灵敏度感知的 VQVAE 模型，生成与给定灰度输出像素完美对齐的彩色结果。在大量的实验中，该模型在感知质量上取得了最先进的性能。

    Apr, 2023

  • 控制色彩：多模态扩散交互式图像着色

    引入了一种多模态的着色方法，通过利用预训练的稳定扩散模型，支持高度可控的交互式图像着色，解决了多种限制性问题，包括用户互动、局部着色、非自然色彩渲染、色彩变化不足和色彩溢出。

    Feb, 2024

  • 多模态语义感知自动着色与扩散先验

    通过使用扩散先验的生成能力，结合亮度条件指导和多模式高级语义先验，本文提出了一种自动上色流程，能够合成饱和且具有合理语义的颜色，改善了自动上色方法中的语义和色彩的准确性问题。

    Apr, 2024

  • CONFORM：高保真文本到图像扩散模型所需的全部是对比度

    通过对比背景下处理此问题的新方法，我们有效地展示了我们的方法在处理各种不同类型的文字到图像扩散模型中的对象、特征和背景组合时的多功能性、高效性和灵活性。

    Dec, 2023

  • 基于扩散模型的个性化文本图像生成

    本文旨在提高高质量图像的合成与精确文字自定义，为图像生成模型的进步做出贡献。我们提出的方法名为 CustomText，利用预训练的 TextDiffuser 模型实现对字体颜色、背景和类型的控制。为了解决小字体渲染的挑战，我们训练了 ControlNet 模型用于一致性解码，从而显著提高了文字生成性能。我们通过与先前的文本图像生成方法在公开可用的 CTW-1500 数据集和自编数据集上的比较评估了 CustomText 的性能，并展示出优越的结果。

    May, 2024

  • eDiff-I：使用专家去噪模型集合的文本到图像扩散模型

    该研究提出了一种基于扩散的生成模型，通过设计针对迭代生成过程的特殊模型，实现了更好的文本对齐，利用不同嵌入技术对模型进行调整，实现对参考图像风格进行自适应转换，并展示了一种 “文字涂鸦” 的技术，可帮助用户控制所需的图像输出。

    Nov, 2022

  • 潜在着色：基于潜在扩散的说话人视频着色

    通过利用经过优化的潜在扩散模型的强大能力以及具备时间一致性机制，我们可以改善自动视频上色的性能，解决时间不一致性的挑战。

    May, 2024