Dec, 2023

多模态提示感知器：全能图像恢复的适应性、普适性和保真度

PDF
TL;DR本研究介绍了 MPerceiver：一种新颖的多模态提示学习方法，利用稳定扩散先验增强了全方位图像修复的适应性、普适性和保真性。通过开发双分支模块，该方法掌握了两种类型的稳定扩散提示：文本提示用于整体表示和视觉提示用于多尺度细节表示。MPerceiver 使用 CLIP 图像编码器的退化预测动态调整这两种提示，从而能够对不同的未知退化进行自适应响应。此外，插件细节优化模块通过直接的编码器到解码器信息转换提高了修复保真性。实验证明，MPerceiver 在全方位图像修复的 9 个任务上经过多任务预训练，优于大多数专门任务的特定方法。在低级视觉方面，MPerceiver 表现出出色的零样本和少样本能力。在 16 个图像修复任务和 26 个基准测试上的大量实验证实了 MPerceiver 在适应性、普适性和保真性方面的优越性。
发现论文，激发创造
  • PromptIR：全能盲图像恢复的提示

    该论文提出了一种 PromptIR 的快速恢复图像的方式，通过使用提示语对特定串行卷积网络的应用，在不同类型和级别的退化情况下提高了图像恢复性能，实现了对不同退化类型和级别的推广，并在图像去噪、去雨和去雾方面实现了最先进的结果。

    Jun, 2023

  • DaLPSR：针对现实世界图像超分辨率的损失对齐语言提示

    本研究提出了利用退化对齐的语言提示来实现准确、精细和高保真度的图像恢复，通过图像恢复提示对图像的退化程度进行自动辨别，同时结合预训练的多模态大型语言模型获取与人类感知紧密相关的高级语义先验，综合比较分析表明，该方法在图像感知质量上达到了新的最先进水平，尤其是在基于无参考度量的真实场景中。

    Jun, 2024

  • 适用于通用图像恢复的 Prompt-In-Prompt 学习

    基于 Prompt-In-Prompt 学习的图像修复模块（PIP）可以通过高效、易用的方式提升现有的图像修复模型，在图像去噪、去雨、去雾、去模糊和低光增强等多个任务上展现出卓越性能，且具备可解释性、灵活性和潜在的真实世界应用潜力。

    Dec, 2023

  • 自适应多模态提示学习

    提出了一种自适应多模式提示学习方法，通过同时考虑样本内外的泛化性和掩盖无意义的图像区域来解决当前提示学习方法存在的局限性，实验结果表明该方法在不同下游任务中优于现有方法。

    Nov, 2023

  • 文本提示引导的图像恢复

    本研究提出了一种有效的基于文本提示的图像修复模型，通过任务特定的 BERT 进行精确理解用户指令并生成文本提示，设计了深度多头转置注意力和门控卷积模块来弥合文本提示和视觉特征之间的差距，创新地将语义提示引入到低层视觉域中，实验证明该模型在公共去噪、去雾和去雨数据集上获得了显著优越的性能，能够准确识别和去除图像的退化，无需增加模型的复杂性。

    Dec, 2023

  • 实现有效的多合一图像恢复：一种顺序和迅速学习策略

    本研究探讨了多个任务的图像恢复问题，提出了解决不同目标优化和适应性的策略，即顺序学习和提示学习，在 19 个测试集上得出了这些策略能够显著提高普通 CNN 和 Transformer 模型的综合性能，为训练具有更高泛化能力的图像恢复模型提供了新的理论和方法。

    Jan, 2024

  • 通用多模态 Transformer 满足遥感语义分割

    在遥感语义分割领域中，本研究调查了 PerceiverIO 等普适性多模态网络在处理遥感图像中的物体尺度变化和车辆检测方面的表现，并提出一种空间和体积学习组件来解决这些问题。通过广泛的实验证明，该方法在与 UNetFormer 和 SwinUNet 等专用架构相比具有竞争力的结果，显示出最小化网络架构工程且性能不受明显影响的潜力。

    Jul, 2023

  • 灵活图像修复

    在图像修复中，人们常常希望根据指令去除特定的图像退化现象，本文提出了一种名为 TransRFIR 的新型建模方法，它通过感知图像中的不同退化类型并根据文本提示去除特定的退化，该方法基于两个设计的注意力模块，即 MHASA 和 MHACA，具有较低的计算成本和优秀的性能，可以作为图像修复的一种有效架构。

    Apr, 2024

  • 增强可见 - 红外人体重新识别：模态和实例感知视觉提示学习

    可见 - 红外人员重新识别的关键是利用模态感知和实例感知的视觉提示网络，建立在 Transformer 架构上，利用模态特定提示和个体特定提示以提高鉴别能力，并在 SYSU-MM01 和 RegDB 数据集上验证了其有效性。

    Jun, 2024

  • 基于 CNN 和 Transformer 的全功能图像修复

    本研究提出了一种基于数据要素导向的方法，通过利用基于提示的学习来实现单模型高效处理多种图像退化任务，结合卷积神经网络和 Transformer 模块的属性对高质量图像修复进行建模，并引入特征融合机制来改善聚合特征，所得到的 CAPTNet 架构能够处理不同类型的退化情况，在大量实验证明与专门的算法相比具有竞争性的表现。

    Sep, 2023