Mar, 2024

从 SAM 提取语义先验，用于高效图像修复模型

PDF
TL;DR通过融合和提取语义先验，我们提出了一个通用框架来改善图像恢复任务中的效果，同时提高模型的推理效率，并通过引入语义引导的关系模块来进一步改善恢复模型的性能。
image restorationsemantic priorssegmentation modelsdistillationsemantic-guided relation
发现论文，激发创造
  • 图像恢复中 SAM 先验探究

    该研究论文利用新型的图像分割神经网络，提出一种轻量级的先验调整单元，将先验知识融入现有的 IR 网络，提高了图像还原的质量。

    May, 2023

  • 基于 SAM 先验的多视角遥感图像分割

    通过将可视化基础模型 Segment Anything（SAM）注入到隐式神经场模型 - INF 中，我们提出了一种新的多视图遥感图像分割方法，通过对测试视图和训练视图之间的 SAM 特征进行对比，得出每个测试视图的伪标签，从而增强整个场景的标注信息，实验证明我们的方法在有限的训练数据情况下优于主流方法，从而证实了 SAM 作为 INF 的一种补充在这一任务中的有效性。

    May, 2024

  • 场景先验滤波在深度图超分辨率中的应用

    场景先验滤波网络（SPFNet）：多模态融合、超分辨率、图像引导滤波、场景先验

    Feb, 2024

  • 基于学习语义先验的上下文感知图像修复

    本文提出了一种基于预训练任务和语义先验的图像修复方法，通过预处理任务学习语义先验并将其适应于图像修复，提出了一种上下文感知的图像修复模型，全面融合全局语义和局部特征，实现了对 Places2，CelebA 和 Paris StreetView 数据集的最新技术水平。

    Jun, 2021

  • 可完全训练和可解释的非局部稀疏模型用于图像恢复

    本文提出了一种新的可微分松弛联合稀疏性方法，利用非局部自相似性和稀疏性原则进行图像恢复，经实验证明该方法参数少，性能与现有先进方法相当或更好。

    Dec, 2019

  • GoodSAM: 透过分段模型建立领域和能力差距，实现适应扭曲感知的全景语义分割

    本文提出了一种名为 GoodSAM 的新型框架，通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题，同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递，实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升，并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。

    Mar, 2024

  • 使用大规模数据集 SATIR 进行知识蒸馏学习热红外图像中的任意目标分割

    该研究提出一种基于 Segment Anything Model（SAM）的预训练框架，利用 SAM 对热成像图像进行伪标签生成，从而提高特定类别的分割结果精度，为处理特殊领域的问题提供了一种有效的解决方案，并生成了一个包含 100,000 多个像素注释标签的大规模热红外分割数据集。

    Apr, 2023

  • 图像恢复的扩散净化解耦数据一致性

    提出了一种新颖的基于扩散的图像恢复求解器，通过解耦逆向过程和数据一致性步骤来解决扩散模型中额外梯度步骤引起的计算负担和问题，通过整合一致性模型减少采样步骤的必要性，从而在各种图像恢复任务中展现出高效的问题解决能力。

    Mar, 2024

  • 基于大视觉模型的自引导远感图像少样本语义分割

    本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。

    Nov, 2023

  • SAM-Deblur: 让分割任意事物提升图像去模糊

    提出 SAM-Deblur 框架，首次将 Segment Anything Model（SAM）的先验知识融入图像去模糊任务，通过预处理、生成结构先验和融合特征等三个阶段，在 RealBlurJ、ReloBlur 和 REDS 数据集上改进了 NAFNet 的 PSNR 分别为 0.05、0.96 和 7.03。

    Sep, 2023