基于 Piggyback 模型的改进扩散图像上色

Apr, 2023

基于 Piggyback 模型的改进扩散图像上色

Improved Diffusion-based Image Colorization via Piggybacked Models

Hanyuan Liu, Jinbo Xing, Minshan Xie, Chengze Li, Tien-Tsin Wong

TL;DR本文介绍了一个基于 T2I 模型的彩色转换模型，利用预训练的 T2I 模型的颜色先验知识，结合扩散引导器产生符合灰度图像视觉语义的潜在色调，接着使用一个灵敏度感知的 VQVAE 模型，生成与给定灰度输出像素完美对齐的彩色结果。在大量的实验中，该模型在感知质量上取得了最先进的性能。

Abstract

image colorization has been attracting the research interests of the community for decades. However, existing methods still struggle to provide satisfactory colorized results given grayscale images due to a lack of human-like global understanding of colors. Recently, large-scale Text-t

image colorization text-to-image models diffusion guider vqvae state-of-the-art performance

发现论文，激发创造

扩散色彩：带文本引导的图像上色

使用图像扩散技术和细粒度文本提示的新型图像上色框架，实现了既语义合适又能提高用户对上色过程控制水平的上色输出，通过预训练的生成扩散模型进行微调并评估颜色鲜艳度，适用于颜色增强和历史图像上色。

Dec, 2023

预训练文本转图像扩散模型进行视频上色

本文介绍了 ColorDiffuser：一种预训练的文本到图像潜在扩散模型的视频上色适应方法，包括颜色传播关注和交替采样策略两种技术，有效提高了模型在视频上色中的色彩保真度、时间上的一致性以及视觉质量，实验表明该方法优于现有方法。

Jun, 2023

多模态语义感知自动着色与扩散先验

通过使用扩散先验的生成能力，结合亮度条件指导和多模式高级语义先验，本文提出了一种自动上色流程，能够合成饱和且具有合理语义的颜色，改善了自动上色方法中的语义和色彩的准确性问题。

Apr, 2024

DiffColor：使用扩散模型进行高保真度文本引导图像上色

利用预训练的扩散模型来恢复以提示文本为条件的鲜艳颜色而无需任何额外输入，具有高质量的图像重建、丰富多样的颜色、可在上下文中进行彩色显示以及对象级可控颜色化效果，超过先前的研究在视觉质量、颜色保真度和颜色化选项的多样性方面的表现。

Aug, 2023

可调节的草图上色方法：基于参考图像和文本

该研究论文探讨了基于图像引导的扩散模型在参考图像引导下的素描着色，并提出了两种使用不同图像特征作为条件输入的变种隐式扩散模型，以及相应的调整结果方法。通过定性和定量实验以及用户研究，全面评估了这些模型的性能。

Jan, 2024

潜在着色：基于潜在扩散的说话人视频着色

通过利用经过优化的潜在扩散模型的强大能力以及具备时间一致性机制，我们可以改善自动视频上色的性能，解决时间不一致性的挑战。

May, 2024

调色板：图像到图像扩散模型

本文提出了一种基于条件扩散模型的统一框架，用于图像到图像的转换，并在四个具有挑战性的图像到图像任务中测试了这个框架，即上色，修复，裁剪和 JPEG 恢复。我们的简单实现超越了所有任务上的强 GAN 和回归基线，无需任务特定的超参数调整，架构定制或需要任何辅助丢失或先进的新技术。我们揭示了扩散目标中 L2 与 L1 损失的影响，并通过实证研究证明了自我关注在神经结构中的重要性。重要的是，我们提倡一个基于 ImageNet 的统一评估协议，具有人工评估和样本质量得分（FID，Inception Score，预训练 ResNet-50 的分类准确度和与原始图像的感知距离），我们期望这个标准化的评估协议在推进图像到图像翻译研究方面起到作用。最后，我们展示了一个通用的，多任务扩散模型的执行效果与任务特定的专家模型相当或更好。

Nov, 2021

扩散模型中的精细颜色引导及其在极低比特率图像压缩中的应用

该研究提出了一个在不使用训练或调整技术的情况下，控制扩散模型生成图像中全局颜色方面的挑战。通过修改指导方程，确保输出更接近已知的颜色映射，同时不影响生成图像的质量。该方法得到了新的指导方程。研究表明，在颜色指导上，指导的缩放不应该随着扩散过程的进行而减少，而应始终保持较高的缩放比例。作为第二项贡献，我们将指导方法应用于压缩框架，将图像的语义信息和一般颜色信息结合起来，以实现低成本的图像解码。与其他经典或更语义导向的方法相比，研究表明我们的方法在极低比特率下改善了压缩图像的保真度和逼真度。

Apr, 2024

InstructPix2Pix 高级图像上色的微调

本研究运用细调 InstructPix2Pix 模型的方法，将语言模型 GPT-3 与文本到图像模型 Stable Diffusion 相结合，以解决 InstructPix2Pix 模型在着色领域的限制，并通过使用 IMDB-WIKI 数据集进行模型的细调，成功地改善了图像着色任务的性能并生成了更加真实的彩色图像。

Dec, 2023

概率图像着色

该研究提出了一种基于概率的技术，用于为灰度自然图像着色，具有多个可能的着色方案和适当的随机采样方案，并通过严格的理论框架支持训练过程，达到了强大的实验结果。

May, 2017