ProRes:探索对降级感知的视觉提示来进行通用图像恢复
基于 Prompt-In-Prompt 学习的图像修复模块(PIP)可以通过高效、易用的方式提升现有的图像修复模型,在图像去噪、去雨、去雾、去模糊和低光增强等多个任务上展现出卓越性能,且具备可解释性、灵活性和潜在的真实世界应用潜力。
Dec, 2023
该论文提出了一种 PromptIR 的快速恢复图像的方式,通过使用提示语对特定串行卷积网络的应用,在不同类型和级别的退化情况下提高了图像恢复性能,实现了对不同退化类型和级别的推广,并在图像去噪、去雨和去雾方面实现了最先进的结果。
Jun, 2023
本研究提出了一种有效的基于文本提示的图像修复模型,通过任务特定的 BERT 进行精确理解用户指令并生成文本提示,设计了深度多头转置注意力和门控卷积模块来弥合文本提示和视觉特征之间的差距,创新地将语义提示引入到低层视觉域中,实验证明该模型在公共去噪、去雾和去雨数据集上获得了显著优越的性能,能够准确识别和去除图像的退化,无需增加模型的复杂性。
Dec, 2023
本研究提出了利用退化对齐的语言提示来实现准确、精细和高保真度的图像恢复,通过图像恢复提示对图像的退化程度进行自动辨别,同时结合预训练的多模态大型语言模型获取与人类感知紧密相关的高级语义先验,综合比较分析表明,该方法在图像感知质量上达到了新的最先进水平,尤其是在基于无参考度量的真实场景中。
Jun, 2024
本研究提出了一种基于数据要素导向的方法,通过利用基于提示的学习来实现单模型高效处理多种图像退化任务,结合卷积神经网络和 Transformer 模块的属性对高质量图像修复进行建模,并引入特征融合机制来改善聚合特征,所得到的 CAPTNet 架构能够处理不同类型的退化情况,在大量实验证明与专门的算法相比具有竞争性的表现。
Sep, 2023
我们提出了一个名为 PromptGIP 的通用模型,通过视觉提示式问答范式统一了多样化的图像处理任务,消除了特定任务微调的需求。该方法提供了通用且适应性强的解决方案,可用于图像处理中的跨领域任务,包括图像恢复和图像增强。
Oct, 2023
本文针对视觉 - 语言模型中的文本提示有限,现有视觉提示方法性能或训练过程不稳定的问题,提出了一种新的渐进式视觉提示结构(ProVP),并结合对比特征重构,最终获得了在 11 个基准数据集上的最佳性能。
Apr, 2023
本文提出一种简单且有效的视觉提示方法,用于将预训练模型适应下游识别任务。并重新引入了两种常用技术,即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8%的平均准确率的记录,并提供了代码。
Dec, 2022