Aug, 2020

RareAct：一个非常规交互视频数据集

PDF
TL;DR本文介绍了一项手动注释的视频数据集 RareAct，该数据集包含了不同的不寻常的动作，如 “混合手机”、“切割键盘” 和 “微波鞋”，旨在评估行为识别模型的零射击和少射击组合性。该数据集包含 122 种不同的动作，这些动作由 HowTo100M 中很少共同出现，但经常分别出现的动词和名词组成。我们使用最先进的 HowTo100M 预训练视频和文本模型提供基准测试，并表明零射击和少射击组合性仍然是一个具有挑战性且未解决的任务。
发现论文，激发创造
  • 常识零样本动作识别故事讲述

    通过引入包含丰富文本描述的 Stories 数据集，我们提出了一种新的方法来处理视频理解中的零样本学习问题，该方法可以在多个基准测试中取得新的最佳效果，提高了顶级准确率。

    Sep, 2023

  • 从网络监督视频数据中学习细粒度动作概念的 YouTube 数据集挖掘

    介绍了一个大规模的现实世界数据集，该数据集用于评估人类行为识别的学习技术，进一步提出了在无人干预状态下收集数据和训练的方法，并针对该训练数据出现的语义不一致性问题，提出了一个语义分层结构。

    Jun, 2019

  • 从多样化的物体场景组合中的零样本行为识别

    本研究提出了基于物体和场景组成误差与多样性要求的无监督零样本动作识别方法，该方法不需要已训练的视频集，能够有效地提高动作识别效果。

    Oct, 2021

  • TikTokActions: 基于 TikTok 的视频数据集用于人体动作识别

    这篇研究论文介绍了一个有用的 TikTok 视频数据集，可用于公众使用，并揭示了增加预训练数据集大小对基于视频的基础模型的边际效益。

    Feb, 2024

  • 统一几个与零个拍摄的自我中心动作识别

    本文通过将 few-shot generalization 和 zero-shot generalization 相结合，并在传统的直接对齐基线上添加度量学习损失，探索了面向 open-set 分类的通用化方法，并在基于 EPIC-KITCHENS 数据集的新分裂的基础上进行了评估，结果表明这种方法可以提高零样本分类的准确性高达 10％，同时不损失 few-shot 性能。

    May, 2020

  • 多模多视角行为视频应用于休闲全息

    Replay 数据集是一组多视角、多模态的人类社交互动视频，可用于新视角合成、3D 重建、新视角声学合成、人体和面部分析以及生成模型训练，并提供了一个新视角合成的基准测试。

    Jul, 2023

  • 视频零样本动作识别：一项调查

    本论文介绍了零样本动作识别在视频方面的研究现状，总结了可视化特征提取和语义特征提取的方法，并提供了完整的数据集、实验和协议描述，指出了未来工作的方向。

    Sep, 2019

  • 微动作识别基准：数据集、方法和应用

    该研究提出了一个用于微动作识别的基准测试集 Micro-action-52（MA-52）和微动作网络（MANet），通过收集全面的微动作线索来解决微动作的识别和理解问题，并展示了该方法在情感识别方面的应用价值。

    Mar, 2024

  • 零样本动作和物体组合生成视频

    本研究提出了一种零样本组合条件下生成人物 - 物品交互视频的方法，并使用一种新型对抗框架 HOI-GAN 进行探索和验证，在两个具有挑战性的数据集：EPIC-Kitchens 和 20BN-Something-Something v2 上进行了广泛的定量和定性评估。

    Dec, 2019

  • WhyAct: 生活视频中的行动原因识别

    本文介绍一种利用视频和文本信息来自动识别在线视频中人类行为原因的多模态模型，并基于手动注释数据集 WhyAct，研究了流行的生活方式视频类型。

    Sep, 2021