May, 2023

Restore Anything Pipeline: 分割和图像修复相遇

PDF
TL;DR该论文引入了 Restore Anything Pipeline (RAP)，一种基于交互和对象级别的图像修复方法，包括可控模型和图像分割，使用户能够进行个性化选择，实验结果表明 RAP 方法比现有方法具有更强的视觉效果，是一种有希望的图像修复方向。
image restorationdeep learningcontrollable modelimage segmentationobject level
发现论文，激发创造
  • RAP-SAM：面向实时通用分割任何事物

    通过转换器架构，本研究提出了一种新的实时分割方案，名为全能实时分割，旨在使用一个模型实现交互分割、全景分割和视频分割等不同任务，为视觉基础模型的实时应用提供了强有力的基准和优化方法。

    Jan, 2024

  • 内容感知的深度自适应图像恢复

    通过利用现有模型优先建立模块化管道来系统地恢复图像，而不是从头开始创建新的修复模型。使用物体特定级别的恢复，每个对象使用其对应的类别标签信息进行再生。方法的独特之处在于提供完全的用户控制，用户可以选择特定的恢复步骤模型，自定义步骤序列以满足需求，并使用深度感知调整结果的再生图像。该研究提供了两个不同的图像再生实施途径，以比较它们各自的优势和局限性。这个多才多艺系统最引人注目的方面是其适应性，允许用户针对特定的物体类别，包括医学图像，提供在这些对象类别上训练的模型。

    Jan, 2024

  • RobustSAM: 在退化图像上鲁棒地分割任何物体

    RobustSAM 是一种改进的 Segment Anything Model (SAM) 方法，通过增强 SAM 在低质量图像上的性能，同时保持其可提示性和零样本泛化能力。其在各种分割任务和数据集上的广泛实验证实了其卓越性能，特别是在零样本条件下，在广泛的现实世界应用中具有巨大的潜力。

    Jun, 2024

  • 分割任何事物

    介绍了 Segment Anything (SA) 项目 —— 一项新的任务、模型和图像分割数据集，该模型具有任务迁移和零样本学习的能力，并通过大规模数据集的训练，达到或超过以前完全监督结果的性能，旨在为计算机视觉的基础模型研究提供支持。

    Apr, 2023

  • 图像恢复中 SAM 先验探究

    该研究论文利用新型的图像分割神经网络，提出一种轻量级的先验调整单元，将先验知识融入现有的 IR 网络，提高了图像还原的质量。

    May, 2023

  • SAM-Deblur: 让分割任意事物提升图像去模糊

    提出 SAM-Deblur 框架，首次将 Segment Anything Model（SAM）的先验知识融入图像去模糊任务，通过预处理、生成结构先验和融合特征等三个阶段，在 RealBlurJ、ReloBlur 和 REDS 数据集上改进了 NAFNet 的 PSNR 分别为 0.05、0.96 和 7.03。

    Sep, 2023

  • Anything-3D: 面向野外的单视角任意物体重建

    本文提出了 Anything-3D 框架，采用了一系列视觉语言模型和 Segment-Anything 对象分割模型来实现从单个 RGB 图像到 3D 重建的任务，并通过实验验证了其有效性和可靠性。

    Apr, 2023

  • 图像修复中的物体分割方法

    该论文提出了一种名为 Inpaint Anything 的新范例，支持去除、填充和替换图像内容，并基于 Segment-Anything Model 实现无需遮罩的图像修复。

    Apr, 2023

  • 启迪万物：当图像分割模型遇上低光图像增强

    本论文提出了 Enlighten-anything 方法，结合 SAM 分割的语义意图和低光图像，采用无监督学习的零样本学习方法来改善低光图像的增强和融合，实验表明方法在 LOL 数据集上比基线提高了 3db 的峰值信噪比和 8 的结构相似度。

    Jun, 2023

  • 关于 Segment Anything Model (SAM) 鲁棒性的实证研究

    对 Segment Anything Model 模型进行了全面的鲁棒性研究，发现它在面对多种图像扰动时的性能普遍下降，在特定数据集上定制提示技巧和利用领域知识，可以提高模型的弹性和解决数据集特定的挑战，为实际应用提供更健壮和多功能的图像分割解决方案。

    May, 2023