Mar, 2024

从事件提示中学习视频异常检测中的疑似异常

PDF
TL;DR提出了一种用于弱监督视频异常检测的新颖框架，通过计算潜在异常事件的文本提示词典与异常视频生成的字幕之间的语义异常相似性，标识每个视频片段的疑似异常事件，并通过多提示学习过程约束所有视频的视觉 - 语义特征，提供了一种为自训练标记伪异常的新方法。通过全面实验和详细消融研究，在四个数据集（XD-Violence、UCF-Crime、TAD、ShanghaiTech）上表现出优于大多数最先进方法的性能（82.6%，87.7%，93.1% 和 97.4%），并在开放集和跨数据集情况下展示了有希望的性能。
weakly supervised video anomaly detectionmultiple instance learningsemantic anomaly similarityevent promptspseudo anomalies
发现论文，激发创造
  • 弱监督视频异常检测中具有正常性指导的文本提示

    基于文本提示和正常性指导的弱监督视频异常检测方法通过生成伪标签和自适应学习来提高性能。

    Apr, 2024

  • 利用大型语言模型实现免训练视频异常检测

    视频异常检测 (VAD) 旨在暂时定位视频中的异常事件。本文提出了一种名为 LAnguage-based VAD (LAVAD) 的方法，利用预训练的大型语言模型 (LLMs) 和现有的视觉 - 语言模型 (VLMs) 来处理 VAD，通过生成每个测试视频的文字描述，设计了一种启动机制，将 LLMs 转化为有效的视频异常检测器，并结合跨模态相似度进行清理和改善 LLMs 的基于异常评分的方法。在两个具有真实监控场景的大型数据集 (UCF-Crime 和 XD-Violence) 上评估 LAVAD，结果显示它在不需要任何训练或数据收集的情况下优于无监督和单类方法。

    Apr, 2024

  • 一种基于弱监督和自适应实例选择的轻量级视频异常检测模型

    该论文提出了一种轻量级视频异常检测模型，通过采用自适应实例选择策略和轻量级多级时间相关注意力模块，减少了模型参数，提高了模型性能，可在资源受限的情况下进行广泛部署。

    Oct, 2023

  • 基于片段异常关注的弱监督视频异常检测

    通过提出基于异常注意力的弱监督异常检测方法，该研究在涉及未剪辑视频中的异常事件方面表明了提取关键特征的有效性，并通过多分支监督模块进一步优化视频的异常检测和定位。

    Sep, 2023

  • PromptAD: 使用普通样本学习提示的少样本异常检测

    提出了一种用于少样本异常检测的单类提示学习方法 PromptAD，在语义拼接和明确异常边界的基础上，通过自动学习提示来改进工业异常检测任务。在 MVTec 和 VisA 数据集的 11/12 个 few-shot 环境中，PromptAD 在图像级 / 像素级异常检测中取得第一名。

    Apr, 2024

  • 从视频异常检测到视频异常检索的进展：新的基准和模型

    视频异常检测已引起日益关注，然而目前主要集中于在线帧级别的异常检测任务，而不是利用详细描述来检索异常事件，因此我们提出了一种名为视频异常检索（VAR）的新任务，旨在通过跨模态方法检索相关的异常视频，并设计了一个名为 Anomaly-Led Alignment Network（ALAN）的模型来实现。

    Jul, 2023

  • 从弱标记视频中定位异常

    本文提出了一种弱监督异常定位方法，利用高阶上下文编码模型提取语义表示，度量动态变化并有效利用时间上下文，通过聚合动态变量和立即语义来获取最终的异常分数，并通过增强策略处理噪声干扰和异常检测中的定位指导缺失，同时收集了一组新的交通异常数据集（TAD），实验表明该方法在常见的异常检测基准测试集中实现了最新的最佳性能。

    Aug, 2020

  • 利用聚类辅助异物检测视频的弱监督训练

    我们提出了一种弱监督的异常检测系统，包括一个随机批处理选择机制、一个正常区域抑制块和一个聚类损失块，以利用训练批次中的总体信息，降低标签噪声并提高特征表示学习，以及通过三个数据集的实验证明了我们方法的卓越的异常检测能力。

    Mar, 2022

  • 半监督视频异常检测和预测的新综合基准

    该研究提出了一个新的综合数据集 NWPU Campus，它是目前最大的半监督视频异常检测数据集之一，被用于同时检测和预测异常事件，该方法在多个数据集上都实现了最先进的性能。

    May, 2023

  • 基于时空伪异常生成的视频异常检测：一种统一方法

    通过使用预先训练的潜在扩散模型修复被屏蔽区域图像，并进一步通过混合来扰动光流以产生时间空间扭曲，提出了一种新的生成通用时空伪异常的方法。此外，通过学习重建质量、时间不规则性和语义不一致性等三种异常指标的简单统一框架，在开放集识别任务下检测现实世界的异常。在 Ped2、Avenue、ShanghaiTech 和 UBnormal 四个 VAD 基准数据集上进行了大量实验，证明我们的方法在 OCC 设置下的性能与其他现有的基于伪异常生成和重建的方法相当。同时我们的分析还检验了伪异常在这些数据集之间的可转移性和普适性，通过识别伪异常从而发现现实世界的异常提供了有价值的见解。

    Nov, 2023