Apr, 2024

基于时空侧调整预训练基础模型的视频行人属性识别

PDF
TL;DR利用视频帧进行行人属性识别，通过精调预训练的多模态基础模型充分利用时间信息，采用视觉 - 语言融合策略和时空调参策略实现参数高效优化，通过多模态交互学习实现行人属性预测。
发现论文，激发创造
  • 基于 CLIP 引导的视觉 - 文本融合变压器的视频行人属性识别学习

    本研究提出了一种基于视频帧的行人属性识别方法，将视觉和语言信息融合，使用 CLIP 模型进行特征提取和语言嵌入，通过多模态交互学习实现行人属性预测。

    Apr, 2023

  • 基于 CLIP 的提示视觉语言融合的行人属性识别

    将行人属性识别问题（PAR）构建为视觉语言融合问题，充分利用行人图像与属性标签之间的关系，在特征嵌入方面采用预训练的视觉 - 语言模型 CLIP 作为骨干网络，并通过对比学习目标和 Transformer 层来捕捉像素之间的远程关系，最后采用多模态 Transformer 有效地融合双重特征并使用前馈网络来预测属性。该算法在 PAR 领域中取得了最新的最优结果。

    Dec, 2023

  • 基于时间注意力机制的视频行人属性识别方法

    本研究提出了一种基于视频的多任务模型与时间注意策略相结合的新网络结构，解决行人属性识别方面的挑战。同时，本文还公开发布了两个新的大规模视频数据集，用于展示该方法的有效性。

    Jan, 2019

  • SequencePAR: 通过序列生成范例理解行人属性

    基于 CLIP 模型的预训练特征提取和序列生成模式，提出一种新的行人属性识别方法 SequencePAR，利用生成模型更好地建模人体属性之间的依赖和复杂性，有效通过多个数据集实验证明了该方法的有效性。

    Dec, 2023

  • 基于 Transformer 的行人属性识别多任务网络 PARFormer

    本研究提出了一种纯 transformer 的多任务行人属性识别网络，名为 PARFormer，其中包含 4 个模块：特征提取模块、特征处理模块、视点感知模块和属性识别模块，实现了竞争性的性能表现，并强调全局视角的重要性。

    Apr, 2023

  • 行人属性识别：一份调查

    介绍了现有的人行属性识别方法，包括传统方法和基于深度学习网络的方法，同时分析了多种学习算法和网络架构，总结出可行的研究方向，并给出实验结果的性能评估。

    Jan, 2019

  • 端到端模型中的深度视角感知行人属性推断

    本文介绍了一个基于端到端学习框架的人行属性推断方法，将其作为多标签图像分类任务，以此来处理属性之间的语义关系并在三个挑战性数据集上得到了显著提升。

    Jul, 2017

  • 学习识别行人属性

    本文介绍了一种利用周围的行人图像 context，比传统的基于 SVM 方法更好地推断行人属性的方法，并通过我们新发布的行人属性数据集进行实验评估背景和前景特征对属性识别的相关性。

    Jan, 2015

  • 基于增量式少样本学习的行人属性识别

    本文提出了一种基于元学习的方法，以解决行人属性识别中存在的增量 few-shot 学习情形，实验表明该方法在 PETA 和 RAP 基准数据集上取得了具有竞争力的性能和低资源需求。

    Jun, 2019

  • 从多模态信息指导中学习可转移的行人表示

    本文提出了一种学习可迁移表示以增强各种行人分析任务的新框架 VAL-PAT，并介绍了三个学习目标：自监督对比学习、图像文本对比学习和多属性分类。该框架在无标签人员图像的预训练下实现了良好的性能，并扩展到各种行人分析任务。

    Apr, 2023