Jun, 2023

意大利厨师能教印度机械师什么？情境和地点通用的动作识别

PDF
TL;DR本篇论文提出了一种行动识别的泛化问题，使用介绍了包含大型 Ego4D 数据集中的 1.1M 视频剪辑的 ARGO1M 数据集，对 10 个场景和 13 个位置进行分类。作者提出了一种名为 CIR 的方法，通过复制其他领域的视频的重建，并利用文本叙述来指导域可推广表示的学习，结果表明 CIR 在 ARGO1M 的所有测试中均优于先前的域泛化方法。
action recognitiongeneralisationargo1mcirdomain generalisation
发现论文，激发创造
  • 第一人称动作识别中基于音视频相对归一化校准的领域泛化

    介绍了第一个针对自我中心活动识别的域泛化方法，通过提出一种新的音频 - 视觉损失函数，相对规范对齐，在不同领域中通过对齐两种特征规范，重新平衡两种模态的贡献，可以在 EPIC-Kitchens-55 和 EPIC-Kitchens-100 上实现域泛化和域自适应。

    Oct, 2021

  • 从外向内视角理解跨视角动作识别

    提出了一种跨视角学习的方法，通过分析不同视角下的摄像机位置并引入基于几何约束的注意力机制，以加强深度学习模型在个人视频中的动作识别能力。实验证明这种方法在标准的个人视频动作识别基准测试中表现良好，并达到了最先进的性能。

    May, 2023

  • 统一几个与零个拍摄的自我中心动作识别

    本文通过将 few-shot generalization 和 zero-shot generalization 相结合，并在传统的直接对齐基线上添加度量学习损失，探索了面向 open-set 分类的通用化方法，并在基于 EPIC-KITCHENS 数据集的新分裂的基础上进行了评估，结果表明这种方法可以提高零样本分类的准确性高达 10％，同时不损失 few-shot 性能。

    May, 2020

  • 从网络监督视频数据中学习细粒度动作概念的 YouTube 数据集挖掘

    介绍了一个大规模的现实世界数据集，该数据集用于评估人类行为识别的学习技术，进一步提出了在无人干预状态下收集数据和训练的方法，并针对该训练数据出现的语义不一致性问题，提出了一个语义分层结构。

    Jun, 2019

  • 针对 EPIC-Kitchens 的行为识别模型评估

    本文介绍了基于 EPIC-Kitchens 数据集的行动识别模型，比较了不同模型在具有长尾类分布、测试集中未见过环境和多任务等挑战下的表现，并探讨了模型的缺点和未来研究的方向。

    Aug, 2019

  • 面向未曾见过的动作识别的通用表示

    本文提出了使用大规模训练数据构建通用表示来实现跨数据集无样本训练的新型动作识别方法，并在 UCF101 和 HMDB51 基准测试中取得显着的改进。

    Mar, 2018

  • ActionCLIP：视频动作识别的新范式

    本研究提出了一种基于视觉 - 文本匹配的多模态学习框架，通过对标签文本的语义信息进行建模，并提出了一种新的 “预训练、提示和微调” 范例，以实现零样本行动识别。实验结果表明，ActionCLIP 模型不仅具有卓越的零样本 / 少样本的迁移能力，而且在 Kinetics-400 数据集上也取得了 83.8% 的高准确度表现。

    Sep, 2021

  • REST：生成式动作识别的检索与自训练

    本文提出使用 REST 框架，在不使用任何动作特定标签的情况下，通过生成的方式将生成模型适应于影片 / 动作，并使用基于 CLIP 的检索方法来训练模型，旨在实现训练一个生成模型，生成一个动画特定的自由格式标题来描述图像 / 动画识别，以解决细粒度识别难以在传统的目录式方法中表示的问题，并取得了不错的成效。

    Sep, 2022

  • 领域特定先验和元学习用于少样本第一人称动作识别

    本文旨在提出一种基于元学习的有效的实现少样本迁移学习的方法，该方法使用局部视觉线索学习表示，以在具有不同场景和动作配置的公共数据集之间进行行为分类模型的迁移。结果表明，该方法在跨类别和跨数据集转移方面效果优于现有的行为分类方法。

    Jul, 2019

  • 利用多任务学习提升自我中心行为识别

    本文提出了一种使用多任务学习的方法，通过并行训练网络来提高动作识别的准确率，并同时实现手部和凝视估计的辅助任务。在多个数据集上的实验证明，该方法在动作识别上的性能明显优于单任务学习模型，并可以准确预测手部和凝视位置。

    Sep, 2019