本研究提出了一种有效的基于文本提示的图像修复模型，通过任务特定的 BERT 进行精确理解用户指令并生成文本提示，设计了深度多头转置注意力和门控卷积模块来弥合文本提示和视觉特征之间的差距，创新地将语义提示引入到低层视觉域中，实验证明该模型在公共去噪、去雾和去雨数据集上获得了显著优越的性能，能够准确识别和去除图像的退化，无需增加模型的复杂性。

Dec, 2023

本文提出了一种利用降噪、去模糊等各种图像退化类型的可控视觉提示符来实现图像恢复的通用模型 ProRes，该模型可以简单调节以适应新任务，并且在控制和自适应性能方面比特定任务的方法更具竞争力。

Jun, 2023

我们提出了一个名为 PromptGIP 的通用模型，通过视觉提示式问答范式统一了多样化的图像处理任务，消除了特定任务微调的需求。该方法提供了通用且适应性强的解决方案，可用于图像处理中的跨领域任务，包括图像恢复和图像增强。

Oct, 2023

本研究提出了利用退化对齐的语言提示来实现准确、精细和高保真度的图像恢复，通过图像恢复提示对图像的退化程度进行自动辨别，同时结合预训练的多模态大型语言模型获取与人类感知紧密相关的高级语义先验，综合比较分析表明，该方法在图像感知质量上达到了新的最先进水平，尤其是在基于无参考度量的真实场景中。

Jun, 2024

该论文提出了一种 PromptIR 的快速恢复图像的方式，通过使用提示语对特定串行卷积网络的应用，在不同类型和级别的退化情况下提高了图像恢复性能，实现了对不同退化类型和级别的推广，并在图像去噪、去雨和去雾方面实现了最先进的结果。

Jun, 2023

基于 Prompt-In-Prompt 学习的图像修复模块（PIP）可以通过高效、易用的方式提升现有的图像修复模型，在图像去噪、去雨、去雾、去模糊和低光增强等多个任务上展现出卓越性能，且具备可解释性、灵活性和潜在的真实世界应用潜力。

Dec, 2023

使用人类编写的指令指导图像修复模型，InstructIR 能从多种退化类型的图像中恢复高质量图像，包括图像去噪、去雨、去模糊、去雾和低光图像增强等多个恢复任务，并在这些任务上实现了最新的结果，此方法还提供了一个新的基准，用于文本指导的图像修复和增强的研究。

Jan, 2024

我们引入 DINO-IR，一种新颖的多任务图像修复方法，利用从 DINOv2 提取的稳健特征，通过使用浅层特征捕捉低级图像特征、深层特征保证鲁棒语义表征且不敏感于退化、并使用专门的组件进行特征集成，包括多层语义融合模块、DINO-Restore 调适与融合模块以及 DINO 感知对比损失，该方法在各种任务上优于现有的多任务图像修复方法，凸显了增强鲁棒特征对于多任务图像修复的优越性和必要性。

Dec, 2023

SelfDoc 是一个文档图像理解的任务无关的预训练框架，利用文档的位置、文本和视觉信息，并建模内容块之间的上下文关系，提出了一种新的跨模态学习模型，优于现有模型，同时具有自适应的视觉语言融合机制并应用自监督模型预训练，与以前作品相比，使用较少的文档图片达到更好的性能。

Jun, 2021

TransferDoc 是跨模态 transformer 架构，通过在自我监督学习中使用三个新颖的预训练目标，实现更丰富的语义概念的学习，从而在工业评估场景中胜过其他最先进的方法。

Sep, 2023