ECCVAug, 2020

在线视频多模态人员搜索

PDF
TL;DR本文提出了一种在线人员搜索框架，它采用多模态记忆库作为人员识别的基础，并通过强化学习获得策略进行动态更新。实验结果表明，该方法不仅实现了在线模式下的显著改进，而且胜过了离线方法。
online person search frameworkmultimodal memory bankreinforcement learningreal-time responsesvideo organization
发现论文，激发创造
  • 基于开放世界用户生成视频内容的人物搜索的通用性

    我们探索了增强人物搜索模型的域外泛化能力，并提出了一个可推广的框架，通过引入基于多任务原型的领域特定批量归一化和通道相关的特征去相关策略来促进任意场景中的下游任务。

    Oct, 2023

  • 通过视觉和时间连接在视频中以一张肖像追踪人物搜索

    本文提出了一种基于轨迹的框架，采用视觉和时间上的链接进行个体识别，实现人物检索，同时提供一个包含 192 个电影、127K 手动注释的轨迹的大型基准测试集，实验表明我们的方法优于传统的人体重识别方法，将平均精度提高了 20%

    Jul, 2018

  • 多模态视频人体聚类：面部、身体、声音

    本文针对视频中的角色聚类进行多模态高精度聚类算法和视频角色聚类数据集的引入，旨在解决当前的人脸聚类局限性，为角色层次的推理提供更多线索，并在所有现有数据集上取得了新的最新成果。

    May, 2021

  • 基于帧聚合和多模态融合的视频人员识别框架

    通过 Frame Aggregation and Multi-Modal Fusion framework 框架，将注意力机制引入 NetVLAD 模块进行视频内的人物识别，同时引入了 Multi-Layer Multi-Modal Attention 模块进行多模态相关性建模，实验结果表明该方法优于其他现有方法。

    Oct, 2020

  • 在线动作和交互定位和预测

    本文提出了一种面向人的在线方法，用于视频中行动和互动的定位和预测。通过使用姿态估计和外观模型结合条件随机场和结构 SVM 方法，该方法可在数帧画面内准确地定位和预测动作和互动。

    Dec, 2016

  • 基于视频的可见光与红外人员再识别学习模态不变性和时间记忆

    本研究主要研究基于视频的跨模态人员重新识别方法。通过构建一个视频 RGB-IR 数据集，证明了在 RGB-IR 人员重新识别中，视频到视频的匹配非常重要。此外，还提出了一种新的方法，该方法不仅将两种模态投射到模态不变的子空间中，还提取了时间内存以实现运动不变性。

    Aug, 2022

  • 人员搜索的挑战与解决方案：一项调研

    本文从图片搜索和文本搜索的视角，对人物检索中的挑战和解决方案进行了调查和分析，集中评估了三个最为重要的规模限制：判别式人物特征，查询人缺口和检测 - 识别不一致性。我们总结和比较评估结果，同时讨论未来的研究方向。

    May, 2021

  • 个人相片集中的人物识别

    提出一种基于卷积神经网络的人物识别系统，针对不同的身体线索和训练数据量的信息量，系统的常见故障模式进行了深入分析，并讨论了现有基准的局限性并提出更具挑战性的基准，其简单易用且在社交媒体照片数据集（PIPA）上达到了更好的成果。

    Sep, 2015

  • 个人照片集中的人物识别

    该论文提出了一种基于多图像区域（头部、身体等）的简单的人员识别框架，以应对社交媒体照片中的人员识别问题，并针对训练和测试样本之间的时间和外观差距提出了新的识别方法，该方法在 PIPA 基准上取得了最先进的结果，对不同的特征进行了深入的分析。

    Oct, 2017

  • iQIYI-VID: 一个大规模的多模态人物识别数据集

    本文引入了 iQIYI-VID 数据集，它是用于多模式人物识别的最大视频数据集，由 600K 个 5,000 名名人的视频剪辑组成，这些视频来自于各种类型的在线视频。通过实验结果表明，多模态注意模块融合的多模态特征可以显著提高人物识别的准确性。

    Nov, 2018