OneRestore: 复合材料损伤的通用修复框架
我们提出了一种全能多退化图像恢复网络 (AMIRNet),通过聚类逐步构建树状结构,学习未知退化图像的退化表示,并利用特征转换模块 (FTB) 弥补领域差异,从而实现从各种未知失真中恢复高质量图像的目标。
Aug, 2023
本研究中,我们提出了一种全能图像恢复网络,能够处理多种退化问题,通过学习神经退化表示(NDR)来解决多种退化数据的挑战,进一步结合退化查询模块和退化注入模块,实现了多种退化的全能恢复能力,同时采用双向优化策略来驱动NDR学习退化表示,我们的实验证明了该方法的有效性和泛化能力。
Oct, 2023
在图像修复中,人们常常希望根据指令去除特定的图像退化现象,本文提出了一种名为TransRFIR的新型建模方法,它通过感知图像中的不同退化类型并根据文本提示去除特定的退化,该方法基于两个设计的注意力模块,即MHASA和MHACA,具有较低的计算成本和优秀的性能,可以作为图像修复的一种有效架构。
Apr, 2024
提出了一种高效的全能图像修复器DaAIR,使用低秩模型DaLe来协同挖掘不同退化中共享的特征和细微差别,生成具有退化感知的嵌入,实现了全面和特定学习的统一模型。通过动态分配模型容量给输入的退化,达到了高效的修复效果。与现有的全能模型和特定退化模型相比,展示了优异的性能和实用性。
May, 2024
通过扩散模型基于预训练的视觉语言模型提取视觉提示,我们提出了Diff-Restorer通用图像修复方法,以去除降级同时生成高感知质量修复结果,并通过全面的定性和定量分析展示了我们的方法的效果和优越性。
Jul, 2024
传统的单任务图像恢复方法在处理特定的劣化类型方面表现出色,但在处理多种劣化方面却困难重重。为了解决这个限制,我们提出了一种新颖的方法——具有图像劣化相似性的分组恢复(GRIDS),该方法协调了多种劣化恢复中的竞争目标。我们首先引入了一种定量方法来评估图像劣化之间的关系,使用深度劣化表示的统计建模。这种分析有助于对相似任务进行战略性分组,提高恢复过程的效率和效果。基于劣化相似性,GRIDS将恢复任务分为最佳分组之一,同一组任务之间高度相关。例如,GRIDS将11种劣化类型有效地分为4个连贯的组。每个组内的训练模型都显示出显著的改进,在单任务上限模型上平均改进了0.09dB,在混合训练基线模型上平均改进了2.24dB。GRIDS通过自适应模型选择机制进行推断,根据输入的劣化情况自动选择适当的分组训练模型。这种机制在实际场景中对于未知劣化情况非常有用,因为它不依赖于显式的劣化分类模块。此外,我们的方法可以预测模型的泛化能力,而无需进行网络推断,为从业人员提供宝贵的洞察力。
Jul, 2024
通过整合大型多模态语言模型(MMLMs)的通用先验知识和预训练扩散模型,提出了大型模型驱动的图像恢复框架(LMDIR),旨在处理各种退化类型并支持自动和用户引导的恢复,从而在多个评估基准上优于现有方法。
Jul, 2024
通过挖掘潜在空间中的关键组件并以门控方式重新分配其贡献度,并采用 X 形式的内部感知与上下文注意力的结合,实现了移动设备下对降质图像的高效恢复,有效降低模型复杂度。
Jul, 2024
本研究解决了挑战性环境下图像质量显著下降的问题。提出的"ReviveDiff"网络架构能够针对多种退化情况进行通用恢复,利用扩散模型的最新进展,从宏观和微观层面提升图像质量。实验结果表明,ReviveDiff在量化和视觉效果上均优于现有最先进的方法。
Sep, 2024
本文研究解决了现有统一方法在多降解图像修复中忽视任务间共性和特性的不足,提出了一种基于多重低秩适配器的通用图像修复框架。该框架利用预训练的生成模型共享组件,结合降解相似性的LoRA组合策略,显著提升了图像修复的保真度和感知质量,并在多种降解任务中展现出优越的泛化能力。
Sep, 2024