半监督视频异常检测和预测的新综合基准
提出了一种用于弱监督视频异常检测的新颖框架,通过计算潜在异常事件的文本提示词典与异常视频生成的字幕之间的语义异常相似性,标识每个视频片段的疑似异常事件,并通过多提示学习过程约束所有视频的视觉 - 语义特征,提供了一种为自训练标记伪异常的新方法。通过全面实验和详细消融研究,在四个数据集(XD-Violence、UCF-Crime、TAD、ShanghaiTech)上表现出优于大多数最先进方法的性能(82.6%,87.7%,93.1% 和 97.4%),并在开放集和跨数据集情况下展示了有希望的性能。
Mar, 2024
通过将初始和未来的原始帧替换为相应的语义分割地图,我们引入了从单帧进行未来视频预测的代理任务,以克服以往方法在学习更长动态模式方面的挑战,并展示了该方法在基准数据集上的有效性和优越性。
Aug, 2023
视频异常检测已引起日益关注,然而目前主要集中于在线帧级别的异常检测任务,而不是利用详细描述来检索异常事件,因此我们提出了一种名为视频异常检索(VAR)的新任务,旨在通过跨模态方法检索相关的异常视频,并设计了一个名为 Anomaly-Led Alignment Network(ALAN)的模型来实现。
Jul, 2023
通过深度学习方法的视频异常检测(VAD)调查,本篇综述探索了传统监督训练范式之外的新兴弱监督、自监督和无监督方法,研究了 VAD 范式中的核心挑战,以及视觉语言模型(VLMs)作为强大的特征提取器在 VAD 中的作用,旨在增强复杂现实场景中异常检测的鲁棒性和效率,并填补现有知识差距,为研究人员提供有价值的见解,为 VAD 研究的未来贡献力量。
May, 2024
通过使用预先训练的潜在扩散模型修复被屏蔽区域图像,并进一步通过混合来扰动光流以产生时间空间扭曲,提出了一种新的生成通用时空伪异常的方法。此外,通过学习重建质量、时间不规则性和语义不一致性等三种异常指标的简单统一框架,在开放集识别任务下检测现实世界的异常。在 Ped2、Avenue、ShanghaiTech 和 UBnormal 四个 VAD 基准数据集上进行了大量实验,证明我们的方法在 OCC 设置下的性能与其他现有的基于伪异常生成和重建的方法相当。同时我们的分析还检验了伪异常在这些数据集之间的可转移性和普适性,通过识别伪异常从而发现现实世界的异常提供了有价值的见解。
Nov, 2023
在智能视频监控中,视频异常检测 (VAD) 涉及检测视频中的异常事件,这是一个复杂而重要的任务。本文提出了一种基于先验知识引导的网络 (PKG-Net) 来解决 VAD 任务。通过在教师 - 学生架构中将自编码器网络与两个指定的代理任务相结合,即未来帧预测和教师网络模仿,提供了更好的未知样本泛化能力。此外,还提出了对适当特征块进行知识蒸馏,以增加模型的多尺度检测能力。实验结果在三个公开基准上验证了我们方法的有效性和准确性,超过了最近的最先进方法。
Sep, 2023
本文提出了一种基于层次语义对比的视频异常检测模型,结合了前景对象和背景场景特征,通过自动编码器框架增强编码的潜在特征,同时使用对象级和场景级对比学习,增强模型的判别能力,并通过基于骨架的运动增强来进一步处理少见的正常活动。经过在三个常规和场景相关混合数据集上的实验证明了这种方法的有效性。
Mar, 2023
视频异常检测 (VAD) 旨在暂时定位视频中的异常事件。本文提出了一种名为 LAnguage-based VAD (LAVAD) 的方法,利用预训练的大型语言模型 (LLMs) 和现有的视觉 - 语言模型 (VLMs) 来处理 VAD,通过生成每个测试视频的文字描述,设计了一种启动机制,将 LLMs 转化为有效的视频异常检测器,并结合跨模态相似度进行清理和改善 LLMs 的基于异常评分的方法。在两个具有真实监控场景的大型数据集 (UCF-Crime 和 XD-Violence) 上评估 LAVAD,结果显示它在不需要任何训练或数据收集的情况下优于无监督和单类方法。
Apr, 2024
该研究提出了一种新的两流对象感知 VAD 方法,通过图像转换任务学习正常的外观和动态模式,检测偏离学习正常模式的异常情况,并在三个数据集上表现有竞争力。
May, 2022