Jan, 2024

STAC: 利用时空数据关联实现高效的跨摄像头流和分析

PDF
TL;DR提出了一种名为 STAC（跨摄像头监控系统）的高效跨摄像头监控系统，利用多个摄像头之间的时空关联提供实时分析和推理，在受限的网络环境下工作。STAC 利用所提出的全模尺度特征学习人员再识别（reid）算法，使用视频帧的时空特征进行准确的人员检测、跟踪和再识别，通过帧过滤和流媒体技术的最新压缩技术（即 FFmpeg libx264 编解码器）与 STAC 集成，从跨摄像头帧中去除冗余信息。这有助于优化视频传输成本和计算 / 处理，同时保持实时查询推理的高准确性。通过 NVIDIA 引入的 AICity Challenge 2023 数据 [1]，评估了 STAC 的性能，测量了 reid 的准确性指标和推理速度。此外，我们使用 FFmpeg 比较了帧过滤和压缩相对于原始摄像头流的视频流减少量。为了完整起见，我们提供了可在此 https URL 复制结果的存储库。
cross-cameras surveillance systemomni-scale feature learningpeople reidentification algorithmspatio-temporal associationsframe filtering and compression
发现论文，激发创造
  • STA: 大规模视频人员再识别的时空注意力

    本文中，我们提出了一种新的空间 - 时间注意力（STA）方法，用于解决视频中的大规模人员重新识别任务，该方法通过在时空维度上充分利用那些具有区分性的目标人物部分来生成鲁棒的剪辑级特征表示，使用该方法可以很好地解决基于视频的人员重新识别的挑战性问题，如姿势变化和部分遮挡。

    Nov, 2018

  • 锚点引导聚类与时空一致性 ID 重新分配增强多摄像机人物追踪

    本文提出了一种新的多摄像头多人跟踪方法，它利用锚点引导聚类实现跨摄像头重新识别和基于几何的跨摄像头 ID 重新分配的时空一致性，从而改善跟踪的准确性，并在 CVPR AI City Challenge 2023 数据集上进行了评估，取得了 95.36% 的 IDF1 得分，名列挑战赛第一名。

    Apr, 2023

  • 基于时空注意力的实时视频识别语义压缩

    本文研究边缘计算中视频动作识别的计算卸载。为了实现有效的语义信息提取，本文提出了一种新的空时注意力自编码器（STAE）结构，包括帧注意力模块和空间注意力模块。实验证明，在时间约束下，与 DeepISC 的基准模型相比，基于 STAE 的 ViT 模型具有更快的推理速度和更高的准确性。

    May, 2023

  • 视频人员重新识别的多阶段时空聚合变形器

    本文提出了一种新的 Multi-Stage Spatial-Temporal Aggregation Transformer，采用两个代理嵌入模块来全面感知输入个人的属性和身份信息；通过 SPA 模块进行自注意操作，并采用新设计的自注意力操作提取信息，同时引入了时间分块混洗以进一步提高模型的鲁棒性，在各个标准基准测试中也实现了最先进的准确性。

    Jan, 2023

  • 基于深度学习的时空动作检测综述

    本文综述了基于深度学习的时空动作检测（STAD）的最新方法及其性能评估，讨论了相关研究的潜在方向。

    Aug, 2023

  • 极低分辨率动作识别的全耦合双流时空网络

    本文提出了一种全耦合的两路时空结构体系框架，可在极低分辨率（如 12x16 像素）视频中可靠地识别人的动作，以保护人们的隐私，同时在训练期间考虑高分辨率视频以建立更好的低分辨率模型，取得了明显的改进。

    Jan, 2018

  • STC-IDS：基于时空相关特征分析的智能联网汽车入侵检测系统

    提出了一种基于空时相关性特征的汽车入侵检测模型 (STC-IDS)，该模型通过编码检测架构强制生成空时关注特征并实现异常分类，并在真实世界的车辆攻击数据集上显示了优异的性能。

    Apr, 2022

  • 时空人员再识别

    本研究提出了一种新的两流空间 - 时间人物重新识别（st-ReID）框架，该框架挖掘了视觉语义信息和空间 - 时间信息，引入 Logistic Smoothing（LS）联合相似性度量，使用快速直方图 - Parzen（HP）方法近似复杂的空间 - 时间概率分布，消除了很多无关图像，在 Market-1501 和 DukeMTMC-reID 数据集上均取得了最好的准确性，进步幅度达到了先前方法的很大程度。

    Dec, 2018

  • 基于时空插值一致性训练的视频阴影检测

    本文提出了一种 基于空时插值一致性训练 (STICT) 框架的视频阴影检测方法，使用未标记的视频帧与标记的图像一起训练深度神经网络，通过空间插值和时间插值一致性约束增强像素级别分类任务的泛化性能和鼓励时间连续预测。此外，还提出了一种适用于图像的多尺度的阴影知识学习的 Scale-Aware Network 和稍微有一点尺度一致性约束的测量方法，结果表明，即使没有视频标签，该方法也比大多数现有的监督、半监督或无监督的图像 / 视频阴影检测方法和相关任务的其他方法更好。

    Jun, 2022

  • 时空对齐网络用于动作识别

    通过引入视点不变特征表示，研究提高现有动作识别架构；提出了一种轻量级通用的空间 - 时间对齐网络（STAN）用于学习动作识别的几何不变表示；实验证明 STAN 模型在广泛使用的数据集上能够在从头开始训练的模式下持续改进动作识别任务的最先进模型。

    Aug, 2023