TeD-SPAD: 自监督隐私保护的视频异常检测中的时序独特性
通过使用预先训练的潜在扩散模型修复被屏蔽区域图像,并进一步通过混合来扰动光流以产生时间空间扭曲,提出了一种新的生成通用时空伪异常的方法。此外,通过学习重建质量、时间不规则性和语义不一致性等三种异常指标的简单统一框架,在开放集识别任务下检测现实世界的异常。在 Ped2、Avenue、ShanghaiTech 和 UBnormal 四个 VAD 基准数据集上进行了大量实验,证明我们的方法在 OCC 设置下的性能与其他现有的基于伪异常生成和重建的方法相当。同时我们的分析还检验了伪异常在这些数据集之间的可转移性和普适性,通过识别伪异常从而发现现实世界的异常提供了有价值的见解。
Nov, 2023
通过自监督学习和视觉变换网络,提出一种用于视频异常检测的方法,能够有效地保留视频帧的空间和时间上的一致性,并且在三个公共基准测试中表现优于像素生成方法和其他自监督学习方法。
Mar, 2024
TSGAD 是一种新的基于姿态和变分自编码器的人体中心视频异常检测方法,通过对基准数据集进行全面实验,证明了 TSGAD 具有与最先进方法相媲美的效果,展示了采用变分自编码器的潜力及其对未来研究的有希望方向。
Apr, 2024
本文介绍了一种采用自监督学习的方法,通过解决空间 - 时间拼图问题来进行视频异常检测。新方法相对于基于重建或预测的方法,在公共基准测试中表现更好。
Jul, 2022
通过深度学习方法的视频异常检测(VAD)调查,本篇综述探索了传统监督训练范式之外的新兴弱监督、自监督和无监督方法,研究了 VAD 范式中的核心挑战,以及视觉语言模型(VLMs)作为强大的特征提取器在 VAD 中的作用,旨在增强复杂现实场景中异常检测的鲁棒性和效率,并填补现有知识差距,为研究人员提供有价值的见解,为 VAD 研究的未来贡献力量。
May, 2024
设计了一种基于空时分层结构的可配置网络体系结构,并利用具有不同能力的基于自编码器的块获得正常模式,通过不断叠加和连接这些块,学习了分层的正常模式,适应了不同的检测需求和各种复杂程度的异常时,通过在三个基准测试中进行实验,并进行了广泛分析,结果表明我们的方法与最先进的方法相当。
May, 2023
该研究提出了一种全新的基线异常检测方法,能够在复杂的监控视频中以完全无监督的方式定位异常事件,且在隐私保护的参与者分布式训练配置下进行。此外,还提出了三种新的评估协议,对各种协作和数据可用性场景下的异常检测方法进行基准测试,并在两个大规模数据集(包括 UCF-Crime 和 XD-Violence)上广泛评估了该方法以及现有的无监督自标记方法。
Apr, 2024
本研究提出一种新的基于视频的自监督学习框架 VTDL,通过增加时间三元组数据的容量来增强时间特征表示的能力,并使用 Temporal Consistent Augmentation(TCA)设计器进行时间信息测量。该方法在动作识别任务中具有显著优势,并且在使用小规模视频数据集进行预训练时,该自监督方法优于完全监督方法。
Aug, 2020
我们提出了一种多尺度时空交互网络(MSTI-Net),采用基于注意力机制的时空融合模块(ASTM)代替直接融合,并注入多个 ASTM 基础的连接,以促进所有可能的空间时间交互,最终将在多个尺度上学习的正常信息记录在内存中,在测试阶段增强异常和正常事件之间的区分。该方法在三个标准数据集上取得了良好的实验结果,UCSD Ped2 的 AUC 值达到了 96.8%,CUHK Avenue 的 AUC 值达到了 87.6%,ShanghaiTech 数据集的 AUC 值达到了 73.9%。
Jun, 2023
提出了一种用于弱监督视频异常检测的新颖框架,通过计算潜在异常事件的文本提示词典与异常视频生成的字幕之间的语义异常相似性,标识每个视频片段的疑似异常事件,并通过多提示学习过程约束所有视频的视觉 - 语义特征,提供了一种为自训练标记伪异常的新方法。通过全面实验和详细消融研究,在四个数据集(XD-Violence、UCF-Crime、TAD、ShanghaiTech)上表现出优于大多数最先进方法的性能(82.6%,87.7%,93.1% 和 97.4%),并在开放集和跨数据集情况下展示了有希望的性能。
Mar, 2024