Oct, 2023

将图像处理统一为视觉提示问题回答

PDF
TL;DR我们提出了一个名为 PromptGIP 的通用模型，通过视觉提示式问答范式统一了多样化的图像处理任务，消除了特定任务微调的需求。该方法提供了通用且适应性强的解决方案，可用于图像处理中的跨领域任务，包括图像恢复和图像增强。
image processingcomputer visionlarge language modelsimage restorationimage enhancement
发现论文，激发创造
  • 适用于通用图像恢复的 Prompt-In-Prompt 学习

    基于 Prompt-In-Prompt 学习的图像修复模块（PIP）可以通过高效、易用的方式提升现有的图像修复模型，在图像去噪、去雨、去雾、去模糊和低光增强等多个任务上展现出卓越性能，且具备可解释性、灵活性和潜在的真实世界应用潜力。

    Dec, 2023

  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • 图像中的视觉语言：上下文视觉学习的通用画家

    本文提出了 Painter，这是一种通用的视觉模型，采用 “图像为中心” 的解决方案，其将核心视觉任务的输出重新定义为图像，并将任务提示指定为图像，使模型能够执行基于可见图像补丁的任务，从而比许多现有的特定任务模型表现更好。

    Dec, 2022

  • 图像修复视觉提示

    本文通过在测试时间给定新任务的输入输出图像样例及一个新的输入图像，自动产生与这些样例一致的输出图像的方式，探讨了如何在没有特定任务的微调或任何模型修改的情况下，将预训练的视觉模型适应于新的下游任务，并证明了将图像修补算法训练在正确的数据上的效果。

    Sep, 2022

  • ProRes：探索对降级感知的视觉提示来进行通用图像恢复

    本文提出了一种利用降噪、去模糊等各种图像退化类型的可控视觉提示符来实现图像恢复的通用模型 ProRes，该模型可以简单调节以适应新任务，并且在控制和自适应性能方面比特定任务的方法更具竞争力。

    Jun, 2023

  • 通过图像提示构建训练无关的开放世界分割基础模型

    通过使用图像概念传达的视觉概念，本研究首次探索了使用基础模型进行开放世界理解的方法，提出了一种名为图像提示分割（IPSeg）的新方法，该方法利用了图像提示技术，通过提取强大的特征，并通过新颖的特征交互模块将输入图像的表示与提示图像的表示进行匹配，以生成突出显示输入图像中目标对象的点提示，并进一步利用生成的点提示来指导 Segment Anything Model 对输入图像中的目标对象进行分割，从而消除了繁琐的训练过程，提供更高效和可扩展的解决方案。

    Oct, 2023

  • 通过图像记号进行语义提示的持续学习

    我们介绍了一种名为 I-Prompt 的方法，它是一种与任务无关的方法，专注于图像令牌的视觉语义信息，以消除任务预测，并在四个基准测试中达到了竞争性能，同时与最先进的方法相比显著减少了训练时间。通过大量实验，我们证明了我们的方法在各种场景下的优越性。

    Mar, 2024

  • 使用提示进行多模态视觉理解，实现图像语义信息的解耦

    通过对多模式图像使用提示来提高图像的语义理解能力，将视觉与语言处理相结合，以生成更准确的预测和识别图像，并通过提供更强大的图像表示来改进单模态模型，这是一个有前途的研究领域。

    May, 2023

  • IMProv: 基于修复的多模态计算机视觉任务解题

    本研究提出了 IMProv - 一种生成模型，能够从多模态提示中进行上下文学习，以解决计算机视觉任务，并通过文本条件和数据集缩放来提高任务性能。

    Dec, 2023