Apr, 2023

使用文本描述进行图像的多模态着色

PDF
TL;DR该研究提出了一种基于深度网络和文字描述的图像上色方法，通过对象分割和融合模型实现对包含不同颜色物体的真实场景的颜色一致性上色，性能指标优于现有的上色技术。
image colorizationtextual descriptionsdeep networkobject segmentationcolor consistency
发现论文，激发创造
  • 扩散色彩：带文本引导的图像上色

    使用图像扩散技术和细粒度文本提示的新型图像上色框架，实现了既语义合适又能提高用户对上色过程控制水平的上色输出，通过预训练的生成扩散模型进行微调并评估颜色鲜艳度，适用于颜色增强和历史图像上色。

    Dec, 2023

  • 实例感知图像上色

    本论文提出了一种基于物体实例的彩色化方法，利用深度神经网络提取物体级别的特征，并采用融合模块组合全图像级别和物体级别的特征来预测最终颜色，大规模实验结果表明该方法优于现有的方法，达到了图像彩色化的最新性能。

    May, 2020

  • L-CAD: 基于语言的任意级别描述着色

    本文提出了一种利用自然语言描述进行基于语言的彩色生成，通过与预训练的跨模态生成模型相结合，实现了对任意级别的颜色描述的处理，能够有效处理复杂环境下的样例感知着色。

    May, 2023

  • 用文字着色：通过基于文本的调色板生成引导图像着色

    该论文提出了一种新的方法来根据输入的文本生成多个颜色调色板，并根据生成的颜色调色板对给定的灰度图像着色。该模型能够理解文本的语义，并从中生成多个可能的颜色调色板。经评估结果表明，使用该模型生成的调色板优于真实的调色板，并且该模型在对图像进行着色时能够有效反映给定的调色板。

    Apr, 2018

  • 极端学习图像多模态深度网络压缩

    本文提出了一种文字引导图像压缩的多模态机器学习方法，通过使用文本的语义信息来引导图像压缩，以实现更好的压缩性能，包括采用图像 - 文本注意力模块和改进的多模态语义一致性损失函数。实验证明，该方法能够在极低比特率下获得较好的视觉效果，并且即使与最先进的技术相比，其性能也可以相媲美或超越。

    Apr, 2023

  • 基于像素级语义的图像自动上色

    该论文提出了使用像素级对象语义来引导图像上色，并使用具有两个分支的分层神经网络，以便学习对象及其颜色，以提高图像上色的真实感和质量，并引入联合双边上采样层以解决边缘颜色渗漏问题。

    Aug, 2018

  • 像素化的语义着色

    使用卷积神经网络、自回归模型以及像素化对象语义来引导图像上色，结果在 PASCAL VOC2012 和 COCO-stuff 上表现更好。

    Jan, 2019

  • DiffColor：使用扩散模型进行高保真度文本引导图像上色

    利用预训练的扩散模型来恢复以提示文本为条件的鲜艳颜色而无需任何额外输入，具有高质量的图像重建、丰富多样的颜色、可在上下文中进行彩色显示以及对象级可控颜色化效果，超过先前的研究在视觉质量、颜色保真度和颜色化选项的多样性方面的表现。

    Aug, 2023

  • 图像文本化：一种自动创建准确详细图像描述的框架

    通过结合现有的多模态大语言模型（MLLMs）与多个视觉专家模型，我们提出了一种名为图像文本化（IT）的创新框架，以最大程度地将视觉信息转化为文本，自动生成高质量的图像描述。我们还提出了几个综合评估基准来验证我们框架所创建的图像描述的质量，显示经过 IT 精选描述训练的 LLaVA-7B 模型在生成更丰富的图像描述方面的能力得到了提高。

    Jun, 2024

  • 基于 Piggyback 模型的改进扩散图像上色

    本文介绍了一个基于 T2I 模型的彩色转换模型，利用预训练的 T2I 模型的颜色先验知识，结合扩散引导器产生符合灰度图像视觉语义的潜在色调，接着使用一个灵敏度感知的 VQVAE 模型，生成与给定灰度输出像素完美对齐的彩色结果。在大量的实验中，该模型在感知质量上取得了最先进的性能。

    Apr, 2023