Dec, 2023

通过去除文本表示的退化来提高图像恢复

PDF
TL;DR通过将图像转化为文本表示形式，结合文字的降级移除能力和图像的详细描述能力，提出了一种图像恢复新方法，通过映射降级图像为文本表示进行去除降级，再将恢复后的文本表示转化为图像指导信息进行图像恢复。在各种图像恢复任务中展示了我们的方法优于现有方法的结果。
image restorationtextual representationsdegradation removalcross-modal assistanceimage-to-text mapper
发现论文，激发创造
  • 文本提示引导的图像恢复

    本研究提出了一种有效的基于文本提示的图像修复模型，通过任务特定的 BERT 进行精确理解用户指令并生成文本提示，设计了深度多头转置注意力和门控卷积模块来弥合文本提示和视觉特征之间的差距，创新地将语义提示引入到低层视觉域中，实验证明该模型在公共去噪、去雾和去雨数据集上获得了显著优越的性能，能够准确识别和去除图像的退化，无需增加模型的复杂性。

    Dec, 2023

  • 基于文本的图像处理方法：语义与恢复指导

    开发了一个基于文本的图像处理框架（TIP），可以通过自然语言作为用户友好界面来控制图像恢复过程，并通过语言的定量规范实现细粒度的指导，以达到更好的恢复性能。

    Dec, 2023

  • 释放文本的想象力：通过探索文字的力量实现文本到图像的人员检索的新框架

    提出了一种用于文本到图像人物检索的新框架，旨在充分发掘句子中的词语力量。通过使用预训练的全 CLIP 模型作为图像和文本的双编码器，以及引入文本引导的图像恢复辅助任务和针对难样本的交叉模态三元组损失，该方法在三个流行的基准数据集上取得了最先进的结果。

    Jul, 2023

  • DaLPSR：针对现实世界图像超分辨率的损失对齐语言提示

    本研究提出了利用退化对齐的语言提示来实现准确、精细和高保真度的图像恢复，通过图像恢复提示对图像的退化程度进行自动辨别，同时结合预训练的多模态大型语言模型获取与人类感知紧密相关的高级语义先验，综合比较分析表明，该方法在图像感知质量上达到了新的最先进水平，尤其是在基于无参考度量的真实场景中。

    Jun, 2024

  • 控制视觉 - 语言模型用于通用图像修复

    我们提出了一种降级感知的视觉 - 语言模型（DA-CLIP），用于将预训练的视觉 - 语言模型应用于低级视觉任务，作为通用的图像恢复框架，通过集成嵌入到图像恢复网络中并进行交叉注意力，使模型能够学习高保真度的图像重建。

    Oct, 2023

  • 图像超分辨率与文本提示扩散

    通过引入文本提示到图像超分辨率中，使用预训练语言模型和扩散模型，实现了优秀的合成和真实图像上的结果。

    Nov, 2023

  • 基于图像信息去除的图像转换

    本文提出了一种利用 Image Information Removal 模块来精准地去除原始图像中与颜色和纹理相关的信息，以更好地保存文本不相关内容并避免相同映射问题，从而实现文本到图像编辑的方法。我们的方法在三个基准数据集上达到了最佳的可编辑性 - 保真度的平衡，并且我们的编辑图像比 COCO 上的之前的艺术作品更受注释者的欢迎。

    May, 2023

  • 遵循人类指令的高质量图像修复

    使用人类编写的指令指导图像修复模型，InstructIR 能从多种退化类型的图像中恢复高质量图像，包括图像去噪、去雨、去模糊、去雾和低光图像增强等多个恢复任务，并在这些任务上实现了最新的结果，此方法还提供了一个新的基准，用于文本指导的图像修复和增强的研究。

    Jan, 2024

  • 基于 CLIP 的图像到文本转换提升多模态理解能力

    将输入图像转化为相应的文字解释是计算机视觉和自然语言处理领域中一个关键而复杂的过程，本文提出了一种创新的集成方法，利用对比式语言图像预训练模型的能力。

    Jan, 2024

  • 增强视觉模型以实现对文本密集内容的理解和交互

    增强视觉模型对包含大量文本信息的图像进行理解和学习的能力，通过数据预处理、微调和模型评估等方法，在集成 CLIP 和文本嵌入模型的视觉聊天应用中取得了 96.71% 的精度，旨在提升复杂视觉文本数据的跨模态人工智能理解能力。

    May, 2024