CVPRApr, 2023

基于关键帧的视频事件修复用于视频异常检测

PDF
TL;DR该研究通过引入新的视频事件修复任务，提出了一种新的视频异常检测范式，其基于关键帧，使用具有双跳连接的 U 形 Swin Transformer 网络进行视频事件修复，并使用相邻帧差异损失约束视频序列的运动一致性，实验结果表明该方法比大多数现有方法表现更优秀。
video anomaly detectiondeep neural networkvideo event restorationswin transformer networkmotion consistency
发现论文，激发创造
  • 视频异常检测的多尺度空时交互网络

    我们提出了一种多尺度时空交互网络（MSTI-Net），采用基于注意力机制的时空融合模块（ASTM）代替直接融合，并注入多个 ASTM 基础的连接，以促进所有可能的空间时间交互，最终将在多个尺度上学习的正常信息记录在内存中，在测试阶段增强异常和正常事件之间的区分。该方法在三个标准数据集上取得了良好的实验结果，UCSD Ped2 的 AUC 值达到了 96.8％，CUHK Avenue 的 AUC 值达到了 87.6％，ShanghaiTech 数据集的 AUC 值达到了 73.9％。

    Jun, 2023

  • 利用完形填空测试：通过学习完成视频事件实现有效视频异常检测

    该论文提出了一种名为视频事件完成（VEC）的解决方案，基于互补线索使用外观和运动对视频活动进行定位，并利用视觉填空测试激励深度神经网络（DNN）捕捉高层语义。通过不同类型的不完整事件和模态的两种集成策略，VEC 可以在常用的 VAD 基准测试上始终优于最先进的方法。

    Aug, 2020

  • 单帧未来视频预测用于视频异常检测

    通过将初始和未来的原始帧替换为相应的语义分割地图，我们引入了从单帧进行未来视频预测的代理任务，以克服以往方法在学习更长动态模式方面的挑战，并展示了该方法在基准数据集上的有效性和优越性。

    Aug, 2023

  • 基于时空伪异常生成的视频异常检测：一种统一方法

    通过使用预先训练的潜在扩散模型修复被屏蔽区域图像，并进一步通过混合来扰动光流以产生时间空间扭曲，提出了一种新的生成通用时空伪异常的方法。此外，通过学习重建质量、时间不规则性和语义不一致性等三种异常指标的简单统一框架，在开放集识别任务下检测现实世界的异常。在 Ped2、Avenue、ShanghaiTech 和 UBnormal 四个 VAD 基准数据集上进行了大量实验，证明我们的方法在 OCC 设置下的性能与其他现有的基于伪异常生成和重建的方法相当。同时我们的分析还检验了伪异常在这些数据集之间的可转移性和普适性，通过识别伪异常从而发现现实世界的异常提供了有价值的见解。

    Nov, 2023

  • 基于图像转换的目标类感知视频异常检测

    该研究提出了一种新的两流对象感知 VAD 方法，通过图像转换任务学习正常的外观和动态模式，检测偏离学习正常模式的异常情况，并在三个数据集上表现有竞争力。

    May, 2022

  • 从事件提示中学习视频异常检测中的疑似异常

    提出了一种用于弱监督视频异常检测的新颖框架，通过计算潜在异常事件的文本提示词典与异常视频生成的字幕之间的语义异常相似性，标识每个视频片段的疑似异常事件，并通过多提示学习过程约束所有视频的视觉 - 语义特征，提供了一种为自训练标记伪异常的新方法。通过全面实验和详细消融研究，在四个数据集（XD-Violence、UCF-Crime、TAD、ShanghaiTech）上表现出优于大多数最先进方法的性能（82.6%，87.7%，93.1% 和 97.4%），并在开放集和跨数据集情况下展示了有希望的性能。

    Mar, 2024

  • 通过正常性优势和自适应优化从未标记的视频中发现深度异常

    本论文提出了一种基于深度神经网络和自适应学习的视频异常检测方法，利用 “正常性优势” 和动态删除数据等技术，实现了优于传统监督学习的效果。

    Aug, 2021

  • 视频异常检测的先验知识引导网络

    在智能视频监控中，视频异常检测 (VAD) 涉及检测视频中的异常事件，这是一个复杂而重要的任务。本文提出了一种基于先验知识引导的网络 (PKG-Net) 来解决 VAD 任务。通过在教师 - 学生架构中将自编码器网络与两个指定的代理任务相结合，即未来帧预测和教师网络模仿，提供了更好的未知样本泛化能力。此外，还提出了对适当特征块进行知识蒸馏，以增加模型的多尺度检测能力。实验结果在三个公开基准上验证了我们方法的有效性和准确性，超过了最近的最先进方法。

    Sep, 2023

  • 基于大型语言模型的视频异常检测与解释

    本文介绍了一种基于视频的大型语言模型在视频异常检测中的应用，该方法不需要阈值，并能解释检测到的异常事件。通过引入长期上下文网络模块和三阶段训练方法，提高了模型的性能并降低了数据需求和标注成本，该方法在 UCF-Crime 和 TAD 基准测试中实现了优异的性能。

    Jan, 2024

  • 通过超网络提高基于事件的视频重建的性能

    本研究提出了一种基于动态神经网络架构的事件重建算法 HyperE2VID，使用超网络和动态卷积生成自适应滤波器，并结合上下文融合模块，以从事件体素网格和先前重建的强度图像中获得信息，采用课程式学习策略来训练网络，实验结果表明，HyperE2VID 具有更好的重建质量，参数更少，推理时间更短。

    May, 2023