Oct, 2023

ChimpACT: 了解黑猩猩行为的纵向数据集

PDF
TL;DR理解非人类灵长类动物的行为对于改善动物福利，建模社会行为以及获取独特的人类和谱系共享行为的洞见至关重要。然而，非人类灵长类动物行为数据集的缺乏阻碍了对灵长类动物社会互动的深入探索，给研究我们最亲近的近亲带来了挑战。为了解决这些限制，我们提出了 ChimpACT，这是一个全面的数据集，用于量化社会群体中黑猩猩的纵向行为和社会关系。ChimpACT 涵盖了 2015 年到 2018 年，包括德国莱比锡动物园的 20 多只黑猩猩群体的视频，特别关注一个年轻雄性 Azibo 的发展轨迹。ChimpACT 非常全面且具有挑战性，包括 163 个视频，累积包含 16 万 5000 帧，每帧都进行了检测、识别、姿势估计和细粒度的时空行为标注。我们在 ChimpACT 上对三个任务进行了代表性方法的评估：(i) 跟踪和识别，(ii) 姿势估计，以及 (iii) 黑猩猩的时空动作检测。我们的实验表明，ChimpACT 为设计新方法和调整现有方法解决应用于黑猩猩群体的基本计算机视觉任务（如检测、姿势估计和行为分析）提供了充足的机会，从而最终加深我们对非人类灵长类动物的沟通和社会性的理解。
non-human primatesbehaviorchimpact datasetchimpanzeessocial interactions
发现论文，激发创造
  • 从森林到动物园：利用 ChimpBehave 进行大型猿类行为识别

    本论文介绍了 ChimpBehave，一个包含超过 2 小时视频（约 193,000 帧）的新型数据集，用于动作识别，通过与现有数据集对齐，可以研究领域自适应和跨数据集泛化方法，并使用最先进的基于 CNN 的动作识别模型提供了首个基准结果。

    May, 2024

  • PanAf20K：野生猿类检测与行为识别的大型视频数据集

    PanAf20K 数据集是迄今为止最大、最多样化的自然环境中大猩猩的开放视频数据集，涵盖了非洲热带地区的 18 个实地点的约 20,000 个照相机陷阱视频的 700 万多帧。该数据集的丰富注释和基准使其适用于训练和测试多种具有挑战性和生态重要性的计算机视觉任务，包括猩猩检测和行为识别，以在支持评估大猩猩的存在、数量、分布和行为，并帮助保护工作中提高性能、效率和结果解释方面，开展 AI 分析照相机陷阱信息至关重要。

    Jan, 2024

  • ChimpVLM：基于行为摘要进行增强的黑猩猩行为识别

    我们通过为视觉结构提供对详细物种行为进行描述的文本嵌入，展示出可以增强从摄像陷阱中理解黑猩猩行为的能力。具体而言，我们提出了一种视觉 - 语言模型，它通过对直接从摄像陷阱视频中提取的视觉特征进行多模态解码，处理代表行为的查询标记并输出类别预测。我们使用标准化的黑猩猩行为编码作为查询标记的初始值，而不是使用随机或基于名称的初始化。此外，我们还探索了使用在已知行为模式的文本语料库上进行微调的遮蔽语言模型初始化查询标记的效果。我们在 PanAf500 和 PanAf20K 数据集上评估了我们的系统，并证明了我们的多模态解码方法和查询初始化策略在多类别和多标签识别任务上的性能优势。结果和消融分析支持性能的改进。我们在 PanAf500 上的 top-1 准确率上实现了优于视觉和视觉 - 语言模型 6.34％的最先进性能，以及在 PanAf20K 上的总体（+ 1.1％）和尾类（+ 2.26％）均值平均精度。我们分享完整的源代码和网络权重，以便能够完全复现结果并进行轻松使用。

    Apr, 2024

  • 大型人猿行为动作的三路深度度量学习

    通过使用稠密姿态 - C 黑猩猩身体部位分割流，本文首次提出了度量学习系统用于识别大型人猿的行为动作，并在 PanAf-500 数据集上取得了 12% 的性能提升，通过长尾识别技术，平均每类准确性可提高 23%。

    Jan, 2023

  • 猫鼬行为识别数据集

    引入一个大型、多样化的浣熊行为识别视频数据集，包括群体社交互动、相机视野内个体的跟踪、不同光照条件等，共包括来自新西兰惠灵顿动物园的 20 个视频和 15 个未注释的视频，共计 848,400 个已注释帧。

    Jun, 2023

  • 狒狒之地数据集：野外灵长类追踪与无人机视频行为识别自动化

    利用无人机进行多个个体的同时跟踪，以更好地理解群居灵长类动物的行为；本研究通过无人机视频提出了一种新的研究数据集，用于猴子的检测、追踪和行为识别，结果表明利用深度学习可以对野生动物的行为进行分类，提供对整个群体集体行为的非侵入性洞察。

    May, 2024

  • 多智能体行为数据集：老鼠二元社交互动

    本研究介绍了一种用于理解多个智能体之间互动的技术：多智能体行为建模，并提出了 CalMS21 数据集，可以用于行为研究中行为分类方法的性能评估，包括跟踪数据和带有注释的数据。

    Apr, 2021

  • 动物王国：一个用于动物行为理解的大型且多样化的数据集

    创建了一个大而多样的数据集 Animal Kingdom，用于多种已注释的任务，帮助更全面地理解自然动物行为，包括视频定位、精细多标签动作识别和姿势估计任务，跨越了 6 个动物大类的 850 个物种，提出了一种 CARe 模型，可以学习识别新的动物行为，实验结果显示了很好的性能

    Apr, 2022

  • 野生动物团体行为识别框架

    本研究提出了一种基于序列分析方法对野生动物数据进行行为注释，特别是对社会群体的集体行为进行分类的方法，并在真实数据集上进行了评估，显示出相比基线方法显著的准确度提高。

    Jul, 2019

  • BEHAVE: 跟踪人体物体交互的数据集和方法

    BEHAVE 数据集记录了 8 名主体在 5 个位置进行与 20 种常见对象的广泛互动，利用多视角 RGBD 帧和相应的 3D SMPL 和对象适配以及它们之间注释的接触，我们使用此数据学习模型，能够共同跟踪人类和物体的互动，同时可以在 3D 中对其交互进行建模，我们的关键洞察是预测与体统计模型中的人类和物品的对应关系，以获得互动期间的人 - 物接触。

    Apr, 2022