AAAINov, 2018

STA: 大规模视频人员再识别的时空注意力

PDF
TL;DR本文中，我们提出了一种新的空间 - 时间注意力（STA）方法，用于解决视频中的大规模人员重新识别任务，该方法通过在时空维度上充分利用那些具有区分性的目标人物部分来生成鲁棒的剪辑级特征表示，使用该方法可以很好地解决基于视频的人员重新识别的挑战性问题，如姿势变化和部分遮挡。
person re-identificationspatial-temporal attentionvideofeature representationpose variation
发现论文，激发创造
  • 视频人员重新识别的多阶段时空聚合变形器

    本文提出了一种新的 Multi-Stage Spatial-Temporal Aggregation Transformer，采用两个代理嵌入模块来全面感知输入个人的属性和身份信息；通过 SPA 模块进行自注意操作，并采用新设计的自注意力操作提取信息，同时引入了时间分块混洗以进一步提高模型的鲁棒性，在各个标准基准测试中也实现了最先进的准确性。

    Jan, 2023

  • 基于多样性正则化的时空关注力视频人物再识别

    提出了一种新的时空注意力模型，可以自动发现多样化的特征，并使用空间和时间的注意力组合提取有用的信息，从整个视频序列中学习潜在的面部、躯干和其他身体部位的隐藏表示，通过三个数据集的评估发现算法优于现有方法。

    Mar, 2018

  • STAC: 利用时空数据关联实现高效的跨摄像头流和分析

    提出了一种名为 STAC（跨摄像头监控系统）的高效跨摄像头监控系统，利用多个摄像头之间的时空关联提供实时分析和推理，在受限的网络环境下工作。STAC 利用所提出的全模尺度特征学习人员再识别（reid）算法，使用视频帧的时空特征进行准确的人员检测、跟踪和再识别，通过帧过滤和流媒体技术的最新压缩技术（即 FFmpeg libx264 编解码器）与 STAC 集成，从跨摄像头帧中去除冗余信息。这有助于优化视频传输成本和计算 / 处理，同时保持实时查询推理的高准确性。通过 NVIDIA 引入的 AICity Challenge 2023 数据 [1]，评估了 STAC 的性能，测量了 reid 的准确性指标和推理速度。此外，我们使用 FFmpeg 比较了帧过滤和压缩相对于原始摄像头流的视频流减少量。为了完整起见，我们提供了可在此 https URL 复制结果的存储库。

    Jan, 2024

  • 基于时空变换器的视频行人重新识别

    本研究将 Transformer 应用于基于视频的人体再识别，提出一种新的基于预训练的模型，并使用感知约束的时空 Transformer 模块和全局 Transformer 模块转换到下游域，取得了显著的准确率提高。

    Mar, 2021

  • 视频行人再识别中的联合注意力时空池化网络

    本篇论文提出了一种新的联合空间和时间注意力池化网络（ASTPN）用于基于视频的人物再识别，能让特征提取器意识到当前输入的视频序列，而空间和注意力时间池化层都能从距离匹配信息中筛选出有代表性的人物并对其进行学习，实验证明可以优于现有的 state-of-the-art 方法。

    Aug, 2017

  • 时空人员再识别

    本研究提出了一种新的两流空间 - 时间人物重新识别（st-ReID）框架，该框架挖掘了视觉语义信息和空间 - 时间信息，引入 Logistic Smoothing（LS）联合相似性度量，使用快速直方图 - Parzen（HP）方法近似复杂的空间 - 时间概率分布，消除了很多无关图像，在 Market-1501 和 DukeMTMC-reID 数据集上均取得了最好的准确性，进步幅度达到了先前方法的很大程度。

    Dec, 2018

  • CSTA：基于卷积神经网络的时空注意力视频摘要

    提出了一种基于 CNN 的时空注意力（CSTA）方法，将视频的每个帧的特征堆叠起来形成类似图像的帧表示，并应用 2D CNN 对这些帧特征进行处理，实现对关键属性的学习和视觉重要性的捕捉，在 SumMe 和 TVSum 等数据集上实验证明了该方法在减少计算量的同时取得了最先进的性能。

    May, 2024

  • 基于空间和时间记忆网络的视频人员再识别

    本文提出了一种基于 STMN 的新型人员 reID 方法，通过存储频繁出现在视频帧中的空间干扰和优化人员视频的典型时间模式的注意力，实现了对人员视频中的空间和时间干扰的有效处理。

    Aug, 2021

  • 基于时空注意力的实时视频识别语义压缩

    本文研究边缘计算中视频动作识别的计算卸载。为了实现有效的语义信息提取，本文提出了一种新的空时注意力自编码器（STAE）结构，包括帧注意力模块和空间注意力模块。实验证明，在时间约束下，与 DeepISC 的基准模型相比，基于 STAE 的 ViT 模型具有更快的推理速度和更高的准确性。

    May, 2023

  • 学习人物再识别的实例级时空模式

    本文提出了一种新的个性化、时空解耦的人员再识别方法（InSTD）, 其中加入了个性化信息用于狭窄化搜索空间并将空间 - 时间传递概率从联合分布解耦以适应离群值，实验结果表明，我们的方法在 Market-1501 和 DukeMTMC-reID 上的 mAP 分别提高了 8.6％和 16.4％。

    Jul, 2021