Aug, 2021

通过记忆增强流重构和流引导帧预测的混合视频异常检测框架

PDF
TL;DR本文提出了 $ ext {HF}^2$-VAD，这是一个混合框架，无缝地融合了流重建和帧预测，以处理视频异常检测。通过使用多级内存模块和跳过连接的自动编码器为正常光流模式进行记忆来识别异常事件，并且利用条件变分自动编码器，根据先前的几个帧预测下一个帧，根据预测的帧重定义优化后的光流，从而提高异常事件的检测能力。实验结果表明，所提出的方法的有效性。
hybrid frameworkvideo anomaly detectionflow reconstructionframe predictionconditional variational autoencoder
发现论文，激发创造
  • 自动驾驶中异常情况的混合视频异常检测

    自动驾驶中最具挑战性的情景是只能在其时间背景下检测到的情况。本文提出了 HF$^2$-VAD$_{AD}$，它是针对自动驾驶的 HF$^2$-VAD 监控视频异常检测方法的改进。我们从车辆自身的视角学习正常行为的表示，并在罕见和关键的情景中进行像素级异常检测。

    Jun, 2024

  • 单帧未来视频预测用于视频异常检测

    通过将初始和未来的原始帧替换为相应的语义分割地图，我们引入了从单帧进行未来视频预测的代理任务，以克服以往方法在学习更长动态模式方面的挑战，并展示了该方法在基准数据集上的有效性和优越性。

    Aug, 2023

  • 基于时空伪异常生成的视频异常检测：一种统一方法

    通过使用预先训练的潜在扩散模型修复被屏蔽区域图像，并进一步通过混合来扰动光流以产生时间空间扭曲，提出了一种新的生成通用时空伪异常的方法。此外，通过学习重建质量、时间不规则性和语义不一致性等三种异常指标的简单统一框架，在开放集识别任务下检测现实世界的异常。在 Ped2、Avenue、ShanghaiTech 和 UBnormal 四个 VAD 基准数据集上进行了大量实验，证明我们的方法在 OCC 设置下的性能与其他现有的基于伪异常生成和重建的方法相当。同时我们的分析还检验了伪异常在这些数据集之间的可转移性和普适性，通过识别伪异常从而发现现实世界的异常提供了有价值的见解。

    Nov, 2023

  • 超越基准：视频中多样化异常的检测

    视频异常检测（VAD）在现代监控系统中扮演着关键角色，旨在识别真实情境中的各种异常。然而，当前基准数据集主要强调简单的单帧异常，如新颖物体检测，这种狭窄的焦点限制了 VAD 模型的进展。在这项研究中，我们主张扩展 VAD 研究，涵盖超越传统基准范围的复杂异常。为此，我们引入了两个数据集：HMDB-AD 和 HMDB-Violence，以挑战具有多样化基于动作的异常的模型。这些数据集源于 HMDB51 动作识别数据集。我们进一步介绍了一种新方法 Multi-Frame Anomaly Detection（MFAD），它建立在 AI-VAD 框架之上。AI-VAD 利用单帧特征，如姿势估计和深度图像编码，以及双帧特征，如物体速度。然后，他们应用密度估计算法计算异常分数。为了解决复杂的多帧异常，我们添加了捕捉长期时态依赖性的深度视频编码特征和逻辑回归以增强最终分数计算。实验结果证实了我们的假设，并突显出现有模型对新异常类型的限制。在简单和复杂的异常检测场景中，MFAD 表现出色。

    Oct, 2023

  • 基于图像转换的目标类感知视频异常检测

    该研究提出了一种新的两流对象感知 VAD 方法，通过图像转换任务学习正常的外观和动态模式，检测偏离学习正常模式的异常情况，并在三个数据集上表现有竞争力。

    May, 2022

  • 可配置的时空分层分析用于灵活的视频异常检测

    设计了一种基于空时分层结构的可配置网络体系结构，并利用具有不同能力的基于自编码器的块获得正常模式，通过不断叠加和连接这些块，学习了分层的正常模式，适应了不同的检测需求和各种复杂程度的异常时，通过在三个基准测试中进行实验，并进行了广泛分析，结果表明我们的方法与最先进的方法相当。

    May, 2023

  • 人本视频异常检测的探索性研究：基于变分自编码器和轨迹预测

    TSGAD 是一种新的基于姿态和变分自编码器的人体中心视频异常检测方法，通过对基准数据集进行全面实验，证明了 TSGAD 具有与最先进方法相媲美的效果，展示了采用变分自编码器的潜力及其对未来研究的有希望方向。

    Apr, 2024

  • 使用卷积 VRNN 进行未来帧预测的异常检测

    本研究提出了一种基于生成模型和 ConvLSTM 的新型顺序生成模型，用于预测未来视频帧，并在异常检测框架中考虑时间信息，实验表明，该方法在三个基准数据集上优于现有最先进方法。

    Sep, 2019

  • 基于关键帧的视频事件修复用于视频异常检测

    该研究通过引入新的视频事件修复任务，提出了一种新的视频异常检测范式，其基于关键帧，使用具有双跳连接的 U 形 Swin Transformer 网络进行视频事件修复，并使用相邻帧差异损失约束视频序列的运动一致性，实验结果表明该方法比大多数现有方法表现更优秀。

    Apr, 2023

  • 视频异常检测的多尺度空时交互网络

    我们提出了一种多尺度时空交互网络（MSTI-Net），采用基于注意力机制的时空融合模块（ASTM）代替直接融合，并注入多个 ASTM 基础的连接，以促进所有可能的空间时间交互，最终将在多个尺度上学习的正常信息记录在内存中，在测试阶段增强异常和正常事件之间的区分。该方法在三个标准数据集上取得了良好的实验结果，UCSD Ped2 的 AUC 值达到了 96.8％，CUHK Avenue 的 AUC 值达到了 87.6％，ShanghaiTech 数据集的 AUC 值达到了 73.9％。

    Jun, 2023