图像恢复中 SAM 先验探究
通过融合和提取语义先验,我们提出了一个通用框架来改善图像恢复任务中的效果,同时提高模型的推理效率,并通过引入语义引导的关系模块来进一步改善恢复模型的性能。
Mar, 2024
本文提出了一种先验量化模型来改正图像处理中的光学畸变,并用可学习编码书将各种先验信息编码成潜在空间,经过量化后,将先验编码与图像恢复分支进行融合,以实现有针对性的光学畸变纠正。综合实验证明了该方法的灵活性和潜力,并验证了其在固定相机上完成目标修复的能力。此外,本模型承诺分析各种先验信息与设备光学畸变之间的相关性,有助于联合软硬件设计。
May, 2023
通过将可视化基础模型 Segment Anything(SAM)注入到隐式神经场模型 - INF 中,我们提出了一种新的多视图遥感图像分割方法,通过对测试视图和训练视图之间的 SAM 特征进行对比,得出每个测试视图的伪标签,从而增强整个场景的标注信息,实验证明我们的方法在有限的训练数据情况下优于主流方法,从而证实了 SAM 作为 INF 的一种补充在这一任务中的有效性。
May, 2024
本文是第一篇对 DL 中使用的先验进行系统研究和分析的综述性文章,包括深度图像恢复和增强的理论分析和结构分类、每种先验的原理和应用的深入讨论、未来方向以及提供所有提到的文献和代码链接的开源仓库。
Jun, 2022
本文提出了一种新的可微分松弛联合稀疏性方法,利用非局部自相似性和稀疏性原则进行图像恢复,经实验证明该方法参数少,性能与现有先进方法相当或更好。
Dec, 2019
提出 SAM-Deblur 框架,首次将 Segment Anything Model(SAM)的先验知识融入图像去模糊任务,通过预处理、生成结构先验和融合特征等三个阶段,在 RealBlurJ、ReloBlur 和 REDS 数据集上改进了 NAFNet 的 PSNR 分别为 0.05、0.96 和 7.03。
Sep, 2023
本文提出了一种新的神经网络架构 DparNet,通过利用降低图像的先验知识来抑制其强度空间可变的复杂图像退化,该方法在图像降噪和抑制大气湍流效应等方面都取得了显著的成效,模型参数数量和计算复杂度均较小。
May, 2023
本文提出了一种基于预训练任务和语义先验的图像修复方法,通过预处理任务学习语义先验并将其适应于图像修复,提出了一种上下文感知的图像修复模型,全面融合全局语义和局部特征,实现了对 Places2,CelebA 和 Paris StreetView 数据集的最新技术水平。
Jun, 2021
使用大规模训练数据的预训练模型在各种高层次的计算机视觉任务中表现出色,但在低层次的图像修复任务中的潜力仍未得到充分探索。本文通过引入一个名为 Pre-Train-Guided Refinement Module (PTG-RM) 的轻量级模块,使用预训练模型的特征优化目标图像修复网络的修复结果,并通过各种实验验证了其在降噪、去雨、去模糊和低光照增强等任务中有效提升修复性能。
Mar, 2024
本文提出了一种名为 GoodSAM 的新型框架,通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题,同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递,实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升,并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。
Mar, 2024