多功能图像恢复的无需训练的大型模型先验
该研究提出了一种名为MPRNet的多阶段架构，使用编码器-解码器架构学习上下文信息和高分辨率分支，结合像素自适应设计重新加权本地特征，从而实现复原图像的同时维持空间细节和上下文信息的最佳平衡，该架构在包括图像去雨、去模糊和降噪等多个任务上均表现出较强的性能表现。
Feb, 2021
我们提出了一种基于多模态大语言模型（MLLM）的图像修复框架，名为多模态大语言模型修复助理（LLMRA），通过利用MLLM的印象能力来获取通用图像修复的降级信息，并通过Context Enhance模块和Degradation Context based Transformer Network将这些上下文嵌入整合到修复网络中，提供了输入低质量图像和恢复后高质量图像的低级属性描述。大量实验证明了LLMRA在通用图像修复任务中的卓越性能。
Jan, 2024
SUPIR是一种突破性的图像修复方法，利用生成先验和模型扩容的力量，通过多模式技术和先进的生成先验，显著提升智能和真实图像修复的能力。通过20百万高分辨率、高质量图像的数据集进行模型训练，支持通过文本提示进行图像修复，并引入负质量提示来进一步提升感知质量。实验证明SUPIR具有出色的修复效果和通过文本提示操纵修复的新能力。
Jan, 2024
在图像修复中，人们常常希望根据指令去除特定的图像退化现象，本文提出了一种名为TransRFIR的新型建模方法，它通过感知图像中的不同退化类型并根据文本提示去除特定的退化，该方法基于两个设计的注意力模块，即MHASA和MHACA，具有较低的计算成本和优秀的性能，可以作为图像修复的一种有效架构。
Apr, 2024
提出了一种高效的全能图像修复器DaAIR，使用低秩模型DaLe来协同挖掘不同退化中共享的特征和细微差别，生成具有退化感知的嵌入，实现了全面和特定学习的统一模型。通过动态分配模型容量给输入的退化，达到了高效的修复效果。与现有的全能模型和特定退化模型相比，展示了优异的性能和实用性。
May, 2024
本研究提出了利用退化对齐的语言提示来实现准确、精细和高保真度的图像恢复，通过图像恢复提示对图像的退化程度进行自动辨别，同时结合预训练的多模态大型语言模型获取与人类感知紧密相关的高级语义先验，综合比较分析表明，该方法在图像感知质量上达到了新的最先进水平，尤其是在基于无参考度量的真实场景中。
Jun, 2024
通过扩散模型基于预训练的视觉语言模型提取视觉提示，我们提出了Diff-Restorer通用图像修复方法，以去除降级同时生成高感知质量修复结果，并通过全面的定性和定量分析展示了我们的方法的效果和优越性。
Jul, 2024
基于扩散的稳定预训练的多模态控制图像恢复方法将文本级和视觉级的信息整合到去噪 U-Net 模型中，实现多模态信息的可控图像恢复，通过定性和定量的结果对比验证其在合成和真实数据集上的优越性。
Jul, 2024
通过挖掘潜在空间中的关键组件并以门控方式重新分配其贡献度，并采用 X 形式的内部感知与上下文注意力的结合，实现了移动设备下对降质图像的高效恢复，有效降低模型复杂度。
Jul, 2024
本研究解决了现有一体化超高分辨率图像修复方法在训练阶段面临的多种降级图像导致的信息污染问题。提出的“复习学习”新训练范式能够在无需先前知识和提示的情况下处理多种类型的降级效果。实验表明，该方法在强大的图像修复网络上有效提升了4K分辨率图像的处理能力。
Aug, 2024