Mar, 2024

GlanceVAD: 探索用于高效标签的视频异常检测的瞥视监督

PDF
TL;DR本文提出了一种名为 “glance annotation” 的新型标注范式，通过在异常事件中添加随机帧来平衡异常检测准确性和标注成本，在 UCF-Crime 和 XD-Violence 两个标准视频异常检测数据集上进行了综合分析和实验验证，证明了该标注范式能够在标注成本和模型性能之间取得卓越的平衡，同时通过凭借高斯核作为基本单元来构建时序异常分布的 GlanceVAD 方法，在广泛的实验结果中明确了其在超越现有先进无监督和弱监督方法方面的有效性。
video anomaly detectionglance annotationtemporal anomaly distributionannotation costmodel performance
发现论文，激发创造
  • 通过单帧注释从文本查询中检索视频时刻

    本文提出一种称为 “glance annotation” 的新型注释范式，通过将输入的视频切分成多个片段，并利用对比学习的 ViGA 方法，得到具有高性能的视频片段检索结果。

    Apr, 2022

  • 一种基于弱监督和自适应实例选择的轻量级视频异常检测模型

    该论文提出了一种轻量级视频异常检测模型，通过采用自适应实例选择策略和轻量级多级时间相关注意力模块，减少了模型参数，提高了模型性能，可在资源受限的情况下进行广泛部署。

    Oct, 2023

  • Holmes-VAD: 通过多模态 LLM 实现无偏和可解释的视频异常检测

    提出 Holmes-VAD，一种新颖的框架，利用精确的时间监督和丰富的多模态指令，实现准确的异常定位和全面的解释。

    Jun, 2024

  • 利用大型语言模型实现免训练视频异常检测

    视频异常检测 (VAD) 旨在暂时定位视频中的异常事件。本文提出了一种名为 LAnguage-based VAD (LAVAD) 的方法，利用预训练的大型语言模型 (LLMs) 和现有的视觉 - 语言模型 (VLMs) 来处理 VAD，通过生成每个测试视频的文字描述，设计了一种启动机制，将 LLMs 转化为有效的视频异常检测器，并结合跨模态相似度进行清理和改善 LLMs 的基于异常评分的方法。在两个具有真实监控场景的大型数据集 (UCF-Crime 和 XD-Violence) 上评估 LAVAD，结果显示它在不需要任何训练或数据收集的情况下优于无监督和单类方法。

    Apr, 2024

  • 10 年来视频异常检测：综述与展望

    通过深度学习方法的视频异常检测（VAD）调查，本篇综述探索了传统监督训练范式之外的新兴弱监督、自监督和无监督方法，研究了 VAD 范式中的核心挑战，以及视觉语言模型（VLMs）作为强大的特征提取器在 VAD 中的作用，旨在增强复杂现实场景中异常检测的鲁棒性和效率，并填补现有知识差距，为研究人员提供有价值的见解，为 VAD 研究的未来贡献力量。

    May, 2024

  • 开放词汇视频异常检测

    这篇论文提出了一种能够利用预训练的大型模型来检测和分类已知和未知异常的开放词汇视频异常检测方法，并通过引入语义知识和合成异常来提高模型的性能。

    Nov, 2023

  • 从事件提示中学习视频异常检测中的疑似异常

    提出了一种用于弱监督视频异常检测的新颖框架，通过计算潜在异常事件的文本提示词典与异常视频生成的字幕之间的语义异常相似性，标识每个视频片段的疑似异常事件，并通过多提示学习过程约束所有视频的视觉 - 语义特征，提供了一种为自训练标记伪异常的新方法。通过全面实验和详细消融研究，在四个数据集（XD-Violence、UCF-Crime、TAD、ShanghaiTech）上表现出优于大多数最先进方法的性能（82.6%，87.7%，93.1% 和 97.4%），并在开放集和跨数据集情况下展示了有希望的性能。

    Mar, 2024

  • 协作学习的隐私异常检测 (CLAP)：一种新的无监督视频异常检测基准

    该研究提出了一种全新的基线异常检测方法，能够在复杂的监控视频中以完全无监督的方式定位异常事件，且在隐私保护的参与者分布式训练配置下进行。此外，还提出了三种新的评估协议，对各种协作和数据可用性场景下的异常检测方法进行基准测试，并在两个大规模数据集（包括 UCF-Crime 和 XD-Violence）上广泛评估了该方法以及现有的无监督自标记方法。

    Apr, 2024

  • 基于时空伪异常生成的视频异常检测：一种统一方法

    通过使用预先训练的潜在扩散模型修复被屏蔽区域图像，并进一步通过混合来扰动光流以产生时间空间扭曲，提出了一种新的生成通用时空伪异常的方法。此外，通过学习重建质量、时间不规则性和语义不一致性等三种异常指标的简单统一框架，在开放集识别任务下检测现实世界的异常。在 Ped2、Avenue、ShanghaiTech 和 UBnormal 四个 VAD 基准数据集上进行了大量实验，证明我们的方法在 OCC 设置下的性能与其他现有的基于伪异常生成和重建的方法相当。同时我们的分析还检验了伪异常在这些数据集之间的可转移性和普适性，通过识别伪异常从而发现现实世界的异常提供了有价值的见解。

    Nov, 2023

  • 使用视频级标签的自我推理框架进行异常检测

    本研究提出了一种基于深度神经网络的弱监督异常检测框架，采用视频级别的标签，通过使用时空视频特征的二元聚类来产生伪标签，从而减少异常视频标签中存在的噪声，实现更准确的异常检测。

    Aug, 2020