May, 2023

混合提示正则化无需训练分割任何异常

PDF
TL;DR我们提出了一种新的框架 —— 任意异常分割 +（SAA +），通过混合提示正则化来改善现代基础模型的适应性，实现了零样本异常分割，包括 VisA、MVTec-AD、MTD 和 KSDD2 在内的多个异常分割基准测试表现优异。
anomaly segmentationzero-shothybrid prompt regularizationadaptabilityfoundation models
发现论文，激发创造
  • CVPR2023 视觉异常和新颖性检测挑战的获胜解决方案：以数据为中心的多模态提示异常检测

    该技术报告介绍了 Segment Any Anomaly 团队在 CVPR2023 视觉异常和新颖性检测（VAND）挑战赛中获胜的解决方案。该解决方案使用多模态提示进行无监督异​​常分割，并以基础模型为零样本下分割任务的先验知识的正则化，实现了在多个异​​常分割基准测试中具有最先进性能的状态。

    Jun, 2023

  • Segment Any Cell: 基于 SAM 的自动提示微调框架用于细胞核分割

    通过引入改进的像素级图像分割模型 Segment Any Cell (SAC)，结合自动生成的实用提示和先进的 Fine-Tuning 技术，在核分割领域实现了优于现有 SOTA 方法的性能提升。

    Jan, 2024

  • 分割任何事物

    介绍了 Segment Anything (SA) 项目 —— 一项新的任务、模型和图像分割数据集，该模型具有任务迁移和零样本学习的能力，并通过大规模数据集的训练，达到或超过以前完全监督结果的性能，旨在为计算机视觉的基础模型研究提供支持。

    Apr, 2023

  • 非可见光谱影像应用的片段任意模型性能评估与变分提示

    Segment Anything Model (SAM) 通过使用不同的输入提示（如文本、边界框、点或掩膜）生成掩膜，克服了特定数据集稀缺性的约束，评估了 SAM 在 X 射线 / 红外模态中分割感兴趣对象的能力，结果表明 SAM 在给定盒子提示时可以分割 X 射线模态中的对象，但对于点提示而言，表现不稳定，特别是在分割细长物体和有机材料方面，SAM 的性能较差，这表明在考虑在 X 射线 / 红外图像上使用 SAM 时需要特别考虑跨模态泛化的问题。

    Apr, 2024

  • 具有通用性的视觉增强学习与分割模型

    SAM-G 通过利用 Segment Anything Model (SAM) 的分割能力，结合 DINOv2 和 SAM 的图像特征，为视觉强化学习代理提供高质量的遮罩图像，显著改善了视觉泛化能力，并在 DMControl 和 Adroit 任务中相对于现有方法分别实现了 44% 和 29% 的改进。

    Dec, 2023

  • 黑盒定向对抗攻击 Segment Anything (SAM)

    该研究旨在对 SAM 进行有针对性的对抗攻击，提出了一种仅攻击图像编码器的简单且有效的方法，并提出了一种新的正则化损失以增强不同模型之间的特征传递性，通过增加对随机自然图像的特征占优势来进行黑盒对抗攻击。

    Oct, 2023

  • 医学影像分割模型：实验研究

    本文对 Segment Anything Model 在医学图像中的效果进行了评估，结果表明性能受任务和数据集影响较大，需要进一步研究来适应医学图像领域。

    Apr, 2023

  • 基于拓扑数据分析指导的零样本生物成像分割

    本文提出了使用拓扑数据分析引导的 Prompt 优化方法来优化 Segment Anything Model（SAM）模型，这种方法可以在生物图像分割领域得到初步结果，并且在需要大量分割的情况下，可以大大降低计算复杂度。

    Jun, 2023

  • 增强医学图像分割的基础模型多提示微调技术

    我们引入了一种新颖的微调框架，通过批处理基于真实掩蔽的边界框引入批量提示策略，以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。

    Oct, 2023

  • 从 SAM 中学习：通过正规化利用分割基础模型进行 Sim2Real 领域自适应

    自主域自适应方法对目标域训练数据稀缺和注释成本高的机器人应用领域尤为重要。我们提出了一种自我监督的域自适应方法，适用于仅有标注源领域数据但目标领域数据完全无标注的情景，并且我们使用了分割基础模型（Segment Anything Model）来获得未标注数据的部分信息，利用无监督局部特征学习的最新进展，提出了一种对目标域中检测到的分割区域进行正则化特征表示的不变性方差损失结构。关键是，这种损失结构和网络架构可以处理由 Segment Anything 生成的重叠分割区域和过分割问题。我们在具有挑战性的 YCB-Video 和 HomebrewedDB 数据集上展示了我们方法的优势，并显示出它优于之前的方法，甚至优于使用真实注释进行训练的网络（在 YCB-Video 上）。

    Sep, 2023