Jun, 2024

基于人工提取的无人机驱动的异常检测：元引导提示策略中的提示优化

PDF
TL;DR我们提出了一种无需人工干预的基于提示的异常检测框架，通过数据驱动方法优化学习提示，解决了训练阶段缺乏异常样本的问题，并通过合理调整梯度方向和局部注意力机制，实现了像素级异常分割的高准确度。
pre-trained vision-language modelsprompt-based anomaly detectionobject-attention anomaly generation modulemeta-guiding prompt-tuning schemelocality-aware attention
发现论文，激发创造
  • PromptAD: 使用普通样本学习提示的少样本异常检测

    提出了一种用于少样本异常检测的单类提示学习方法 PromptAD，在语义拼接和明确异常边界的基础上，通过自动学习提示来改进工业异常检测任务。在 MVTec 和 VisA 数据集的 11/12 个 few-shot 环境中，PromptAD 在图像级 / 像素级异常检测中取得第一名。

    Apr, 2024

  • 利用 LLMs 自动化零射视觉识别的元提示

    通过 Meta-Prompting for Visual Recognition (MPVR) 方法，仅凭目标任务的简短自然语言描述和相关类别标签的最小信息输入，自动产生一组多样的类别特定提示，从而实现强大的零样本分类器。在多个不同领域的流行的零样本图像识别基准上，使用多个 LLMs 和 VLMs 测试，MPVR 可以有效地推广，比 CLIP 提高了最高 19.8％和 18.2％（平均 20 个数据集上分别为 5.0％和 4.5％），依赖于 GPT 和 Mixtral LLMs。

    Mar, 2024

  • 视觉 - 语言模型的对抗提示调整

    通过引入 Adversarial Prompt Tuning (AdvPT) 技术，本研究旨在提升视觉 - 语言模型中图像编码器的对抗性鲁棒性，改善对抗攻击的脆弱性，并且结合现有的基于图像处理的防御技术，进一步提高其防御能力。

    Nov, 2023

  • LLM 在零样本异常检测中的能力揭示

    本文介绍了一种训练无关的方法 ALFA，旨在解决零射击视觉异常检测的挑战，包括生成信息性的异常提示和精确的异常定位，通过利用大型语言模型的能力和全局到局部的图像 - 文本对齐。与最先进的零射击视觉异常检测方法相比，在 MVTec AD 和 VisA 数据集上，ALFA 取得了显著的 12.1% 和 8.9% 的性能改进。

    Apr, 2024

  • AntifakePrompt: 基于提示调整的视觉语言模型用于检测假图像

    利用视觉 - 语言模型和提示调整技术，将深度伪造检测问题转化为视觉问题回答，实验表明通过预训练的视觉 - 语言模型和提示调整可以显著提高深度伪造检测的准确性。

    Oct, 2023

  • 预训练视觉语言模型中的伪提示生成，面向多标签医学图像分类

    该研究介绍了一个新的提高医学图像识别性能的方法，利用预训练视觉 - 语言模型和伪提示生成来实现多标签分类和自动诊断，对比实验证明了其在多标签胸部放射图数据集上的卓越性能。

    May, 2024

  • AnomalyGPT：利用大型视觉 - 语言模型检测工业异常

    利用大型视觉语言模型（LVLMs）解决工业异常检测（IAD）问题的关键在于提出了一种基于 LVLM 的新型 IAD 方法 AnomalyGPT，通过模拟异常图像以及为每个图像生成对应的文本描述来生成训练数据，并利用图像解码器提供细粒度语义和设计，通过启示式嵌入 fine-tune LVLM，消除了手动阈值调整的需求，直接评估异常的存在和位置，在 MVTec-AD 数据集上实现了 86.1％的准确率，94.1％的图像级 AUC 和 95.3％的像素级 AUC。

    Aug, 2023

  • 逐步多模态条件提示调整

    通过迭代利用图像和当前的编码信息，我们提出了一种新颖的方法 —— 渐进式多模态条件 Prompt 调整（ProMPT），通过多模态提示的方式使视觉 - 语言特征逐步对齐，从而实现从粗糙到准确的分类。在所有设置中，广泛的实验证明了 ProMPT 方法相对于现有方法的优越性。

    Apr, 2024

  • 双对齐下的上下文感知视觉 - 语言模型提示调优

    利用双重对齐提示调整 (DuAl-PT)，结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和基于新样本泛化上取得了卓越的性能，为未来研究提供了强有力的基准。

    Sep, 2023

  • 保护视觉语言模型免受已插入的视觉提示注入器的威胁

    通过 SmoothVLM 防御机制，本文针对视觉 - 语言模型中的补丁式对抗性提示注入进行研究，取得了成功的攻击率降低和上下文恢复率提高的平衡。

    May, 2024