CVPRMar, 2024

MTMMC：一个大规模真实世界的多模态相机跟踪基准

PDF
TL;DR我们提供了一个真实世界的大规模数据集 MTMMC，其中包括由 16 个多模态摄像机在校园和工厂两种不同环境中捕获的长时间视频序列，并涵盖各种时间、天气和季节条件。该数据集提供了一个具有挑战性的测试平台，用于研究多摄像机跟踪在多样化的真实世界复杂性下，并包括了空间对齐和时间同步的 RGB 和热像摄像机的额外输入方式，从而提高了多摄像机跟踪的准确性。MTMMC 是现有数据集的超集，有助于独立领域，如人员检测、重新识别和多目标跟踪。我们提供了关于该数据集的基线和新的学习设置，并为未来的研究设定了参考得分。数据集、模型和测试服务器将公开提供。
multi-target multi-camera trackingmtmmc datasetreal-world dynamicsspatially aligned camerastemporally synchronized cameras
发现论文，激发创造
  • 多移动相机行人跟踪与新数据集和全局链接模型

    通过构建一个新的数据集，以及引入一个轻量级的无外貌特征全局连接模型 (Linker)，结合再识别 (Re-ID) 方法，实现了在多移动相机环境下的多目标多运动摄像头 (MTMMC) 跟踪系统的显著改进，从而推进了多移动相机的协同挖掘。

    Dec, 2023

  • MMPTRACK: 大规模密集标注多摄像机多人跟踪基准测试

    本研究提供了一个大规模数据集，利用自动注释系统从不同环境下的高度重叠 RGB 和深度相机生成三维跟踪结果，并通过手动检查和纠正三维跟踪结果来确保标签质量，以提高多相机，多物体跟踪系统的可靠性和性能。

    Nov, 2021

  • GMT：一种适用于多目标多摄像头跟踪的鲁棒全局关联模型

    提出一种全局在线多目标多摄像头（MTMC）跟踪模型，解决了多目标多摄像头跟踪中第一阶段跟踪结果的依赖性和跨摄像头匹配的困难，同时通过特征提取和融合模块增强了特征表示，建立了多摄像头目标之间的相关性，取得了在 VisionTrack 数据集和其他数据集上较之前方法的显著改进。

    Jul, 2024

  • 基于分层聚类的多目标、多相机跟踪：DukeMTMC 项目最新进展

    针对多摄像头追踪挑战，本文在 DukeMTMC 数据集上通过简单的层次聚类与良好训练的人物再识别特征，展示了在该数据集上获得良好结果的方法。

    Dec, 2017

  • 多模态物体跟踪的卓越性能

    多模态目标跟踪是一个新兴领域，它利用来自各种模态的数据（比如视觉、深度、红外热像、事件、语言和音频）来估计视频序列中任意物体的状态。本研究综述了现有多模态目标跟踪任务，并分析总结了各个任务的常用数据集和主流的跟踪算法，重点关注了它们基于自监督学习、提示学习、知识蒸馏、生成模型和状态空间模型等技术范式。同时，在此网址上维护了一个持续更新的多模态目标跟踪论文清单。

    May, 2024

  • 具有改进的自主监督相机连接模型的城市级多摄像机车辆跟踪系统

    本研究提出了一种创新的多摄像头车辆追踪系统，利用自监督的摄像头链接模型，自动提取关键的多摄像头关系来进行车辆匹配，并通过设置时空约束来支持跨摄像头匹配，在实际应用中具有显著的效率和成本效益改善，实验证明该方法在 CityFlow V2 基准测试中达到了自动摄像头链接方法的最新技术水平，IDF1 得分为 61.07%。

    May, 2024

  • 城市尺度多摄像头多目标跟踪的改进：基于位置感知跟踪和盒粒度匹配

    多相机多目标跟踪（MCMT）是一种计算机视觉技术，用于在多台相机上同时跟踪多个目标。本文介绍了一种名为 CityTrack 的新型 MCMT 框架，其中包括一种集成了各种先进技术的位置感知 SCMT 追踪器以及一种用于 ICA 模块的新颖的 Box-Grained Matching（BGM）方法，该方法能够解决城市交通场景中的困难。在 CityFlowV2 数据集的公共测试集上评估了我们的方法，并取得了 84.91% 的 IDF1 指标，在 2022 AI CITY CHALLENGE 中排名第一。我们的实验证明了我们的方法在克服城市交通场景带来的挑战方面的有效性。

    Jul, 2023

  • MDMMT：用于视频检索的多领域多模态 Transformer

    通过对多个视频字幕数据集的正确组合，我们在 MSRVTT 和 LSMDC 基准测试上提出了一种新的文本到视频检索任务的最新技术，成果展示了在无微调的情况下，单一模型在两个数据集上实现了最先进的结果。

    Mar, 2021

  • 多目标、多相机跟踪的性能指标和数据集

    本研究提出新型精度和召回率的性能评价措施，并通过拥有超过 2700 个身份的 1080p，60fps 视频上的 2 百万帧进行了大规模标注和校准，同时使用参考软件系统作为比较基准。研究结果表明，提出的措施恰当地评估了多相机设置中的身份识别性能，数据集提供了对目前跟踪器的现实挑战，而我们的系统的性能可与现有技术水平相当。

    Sep, 2016

  • MMC：用大规模指导调优推进多模态图表理解

    利用大型语言模型和多模态模型的整合，在用户定向视觉语言任务的零样本完成方面取得了令人瞩目的进展。我们引入了一个大规模的多模态图表指导（MMC-Instruction）数据集，包含 600k 个实例，支持多样化的任务和图表类型。基于这些数据，我们开发了一个多模态图表助手（MMCA），它在现有的图表问答基准上实现了最先进的性能。为了全面评估多模态理解图表的能力，我们还提出了一个多模态图表基准（MMC-Benchmark），这是一个包含 9 个不同任务的全面人工标注基准，评估对图表的推理能力。对 MMC-Benchmark 的大量实验揭示了现有的语言模型在正确解释图表方面的局限性，即使是最新的 GPT-4V 模型也是如此。我们的工作提供了一种指导方法和基准，以促进图表的多模态理解。

    Nov, 2023