Dec, 2023

TAB: 工业检测任务的文本对齐异常骨干模型

PDF
TL;DR近年来，对工业检测任务中的异常检测和定位的关注加强。本文利用视觉语言 CLIP 模型提出了一种新的框架来训练适用于制造领域的骨干模型，同时考虑了正常和异常条件的视觉和文本对齐嵌入空间。所得到的预训练骨干模型显著提高了工业下游任务的性能，尤其是在异常检测和定位方面。此外，使用我们的预训练骨干模型权重使先前的工作在少量训练数据的少样本情况下实现了更优异的性能。该提出的异常骨干模型为更精确的异常检测和定位提供了基础模型。
anomaly detectionlocalizationindustrial inspectionclip modelpre-trained backbone
发现论文，激发创造
  • 通过适应预训练视觉语言模型进行异常检测

    我们提出了一个统一的框架 CLIP-ADA 用于通过适应预训练 CLIP 模型进行异常检测，在这个框架中，我们通过引入可学习的提示，并通过自监督学习将其与异常模式关联起来，从而获得多类别工业图像上的统一异常检测，并且通过引入异常区域细化策略来充分利用 CLIP 的表示能力来提高定位质量，我们的框架在 MVTec-AD 和 VisA 上取得了 97.5/55.6 和 89.3/33.1 的最新成果，以及在极小的训练数据下取得了令人鼓舞的性能，这更具挑战性。

    Mar, 2024

  • AnoVL：面向统一零样本异常定位的视觉语言模型适应

    使用 Contrastive Language-Image Pre-training (CLIP) 模型进行零样本异常检测，通过学习自然语言监督下的视觉表示，构建文本提示与全局图像级别表示之间的对应关系，采用训练自由的价值关注机制提取 CLIP 的内在局部标记以进行精确定位，设计一个统一的领域感知对比状态提示模板，通过测试时的自适应机制进一步优化异常定位结果。

    Aug, 2023

  • 面向医学图像的通用异常检测的视觉语言模型的适应

    本文介绍了一种用于医学异常检测的轻量级多层次自适应对比框架，通过将多个残差适配器整合到预训练的视觉编码器中，通过多级像素级视觉 - 语言特征对齐损失函数引导多级适应，使其适用于医学图像。实验结果表明，我们的方法在医学异常检测基准上显著超越了当前最先进的模型，在零样本和少样本情况下分别实现了 6.24% 和 7.33% 的平均 AUC 提升用于异常分类，以及 2.03% 和 2.37% 的平均 AUC 提升用于异常分割。

    Mar, 2024

  • 骨干之争：跨计算机视觉任务对预训练模型的大规模比较

    基于神经网络的计算机视觉系统通常建立在一个预训练或随机初始化的特征提取器 —— 骨干模型上。骨干模型使用不同的算法和数据集进行预训练，对于从分类到目标检测到 OOD 泛化等各种计算机视觉任务，进行多样的预训练模型基准测试 。研究表明，在相同架构和相似大小的预训练数据集上，自我监督学习骨干模型具有很高的竞争力，未来的工作应使用先进的架构和更大的预训练数据集进行自我监督学习预训练。

    Oct, 2023

  • 基于扩散的感知的文本图像对齐

    扩散模型是具有令人印象深刻的文本到图像合成能力的生成模型，对于传统机器学习任务产生了一系列创新方法。然而，如何运用这些生成模型的感知知识来进行视觉任务仍然是一个未解之谜。本研究发现，自动生成的描述能够改善文本图像对齐，并显著提升模型的交叉注意力图，从而提高知觉性能。我们的方法在 ADE20K 数据集上改进了当前最先进的基于扩散的语义分割模型，并在 NYUv2 数据集上改进了当前最先进的深度估计模型。此外，我们的方法适用于跨领域环境；我们使用模型个性化和标题修改来将模型与目标域对齐，并改善了非对齐基准的性能。我们的目标检测模型，在 Pascal VOC 数据集上训练，实现了 Watercolor2K 数据集上的最佳结果。我们的分割方法，在 Cityscapes 数据集上训练，实现了 Dark Zurich-val 和 Nighttime Driving 数据集上的最佳结果。

    Sep, 2023

  • CSE：使用对比选择嵌入进行表面异常检测

    本研究提出了一种以目标特定嵌入为核心的新方法，通过引入人工生成的有缺陷样本和无缺陷样本，使用对比训练过程捕捉待考虑纹理的最具代表性特征，并利用表面的内在性质，从无缺陷样本中推导出有意义的表示，从而实现了对异常得分的简单而有效的计算。通过在 MVTEC AD 和 TILDA 数据集上进行的实验，验证了我们的方法与最先进方法的竞争力。

    Mar, 2024

  • 揭示 CLIP 中的骨干效应：探索表征的协同作用与变异

    通过对比语言 - 图像预训练方法的不同背骨架结构的性能差异，发现正则化这些表示会导致显著的性能变化，进而提出了一种简单但有效的方法来结合多个背骨架的预测，并实现了显著的性能提升。

    Dec, 2023

  • 冻结骨干网络：一种参数高效的对比学习方法用于稳健的医疗视觉 - 语言预训练

    现代医疗常常使用放射影像和文字报告进行诊断，鼓励使用大型预训练模型进行视觉 - 语言自监督学习 (VL-SSL) 以学习多功能的医学视觉表示。然而，大部分现有的 VL-SSL 框架都是端到端训练的，计算成本高，并且可能丢失预训练编码器中嵌入的重要先验信息。为了解决这两个问题，我们引入了适用于任意骨干网络的 Adaptor 框架，通过保持预训练的图像和文本编码器的冻结状态，并采用轻量级的 Adaptor 模块进行跨模态学习来保留医学知识。在三个数据集上进行的医学图像分类和分割任务实验表明，与当前的预训练方法相比，我们的框架在保持可训练参数减少 90% 以上的同时，具有竞争性的性能。值得注意的是，仅使用 1% 的数据进行微调时，Adaptor 在医学图像分割方面胜过了针对完整数据集训练的几种基于 Transformer 的方法。

    Jan, 2024

  • 利用自然语言监督改进视觉微调

    本文通过引入一种基于文本监督的微调方法（TeS），旨在缓解预训练模型中的 bias 问题，并在 11 个下游任务上进行了验证。实验结果表明，该方法能够显著提高微调的效果。

    Apr, 2023

  • 基于锚点的视觉语言模型的鲁棒微调

    我们提出了一种补偿微调过程的方法，利用具有丰富语义信息的辅助监督作为锚点来保留原始的 CLIP 特征空间，从而保持了 OOD 泛化性能，并在领域迁移和零样本学习基准上取得了新的最先进结果。

    Apr, 2024