Jun, 2021

基于相对规范对跨领域第一人称音视频动作识别进行对齐

PDF
TL;DR本文提出利用音视频信号的内在互补性来学习一种表示，该表示对于训练数据表现良好，并且能够在不同域之间进行泛化，以增强跨领域第一人称行动识别的能力，结果表明该方法在流行的 EPIC-Kitchens 数据集上具有很强的效果。
first-person action recognitionwearable camerascross-domainaudio-visual lossepic-kitchens dataset
发现论文，激发创造
  • 第一人称动作识别中基于音视频相对归一化校准的领域泛化

    介绍了第一个针对自我中心活动识别的域泛化方法，通过提出一种新的音频 - 视觉损失函数，相对规范对齐，在不同领域中通过对齐两种特征规范，重新平衡两种模态的贡献，可以在 EPIC-Kitchens-55 和 EPIC-Kitchens-100 上实现域泛化和域自适应。

    Oct, 2021

  • 领域特定先验和元学习用于少样本第一人称动作识别

    本文旨在提出一种基于元学习的有效的实现少样本迁移学习的方法，该方法使用局部视觉线索学习表示，以在具有不同场景和动作配置的公共数据集之间进行行为分类模型的迁移。结果表明，该方法在跨类别和跨数据集转移方面效果优于现有的行为分类方法。

    Jul, 2019

  • 学习跨模态对比特征以实现视频领域自适应

    设计了一个针对视频数据的统一框架，同时规范化跨模态和跨领域特征表示，通过对 UCF、HMDB 和 EPIC-Kitchens 等领域适应性行动识别基准数据集的实验，证明了方法的有效性。

    Aug, 2021

  • 跨视频领域的音频自适应活动识别

    本研究提出了一种基于音频自适应编码器和相关学习方法的活动识别方法，通过处理活动声音进行域自适应，进而解决活动出现场景或视角变化等域漂移问题。实验证明该方法在多个数据集上均有良好表现。

    Mar, 2022

  • 基于递归融合的联合交叉注意力的音视频人员验证

    通过递归融合的联合交叉关注模型和 BLSTMs，本研究有效地捕捉音频和视觉模态之间的内在和跨模态关系，显著提高了融合性能。

    Mar, 2024

  • 跨领域动作识别的多模态实例修正

    我们提出了一种多模态实例细化（MMIR）方法，通过强化学习来减轻负迁移，该方法在双模态中训练了一个强化学习代理，在每个领域中选择出负样本以精炼训练数据。我们的方法在基准 EPIC-Kitchens 数据集上表现优于其他几种最先进的基线方法，证明了 MMIR 在减少负迁移方面的优势。

    Nov, 2023

  • 环境对抗域自适应动作识别

    本文提出了一种基于领域自适应的行为识别方法，使用对抗学习在跨域场景中学习跨域动作识别，从而实现对低光条件下的人类行为进行识别，并在 InFAR 和 XD145 动作数据集上取得了 SOTA 表现。

    Oct, 2022

  • 通过对比视图不变表示进行跨视图动作识别

    提出了一种简单高效的跨视角动作识别（CVAR）框架，能够从 RGB 视频、3D 骨架数据或两者学习不变特征。在 N-UCLA、NTU-RGB+D 60、NTU-RGB+D 120 和 UWA3DII 数据集上，该方法表现出优异的性能，分别达到了 99.4％（RGB）、99.9％（3D 骨架）

    May, 2023

  • 在第三人称视频中识别第一人称摄像头佩戴者

    本文提出了一种新的半孪生卷积神经网络架构，以解决第一人称和第三人称视频之间的人物层面的对应关系问题，在关注联合场景理解，物体追踪和活动识别方面有显着的性能提升。

    Apr, 2017

  • ViLP: 通过视觉、语言和姿势嵌入进行视频动作识别的知识探索

    本研究提出了首个基于姿势增强的视觉语言模型（VLM）用于视频动作识别，该方案在 UCF-101 和 HMDB-51 两个常用数据集上分别达到 92.81% 和 73.02% 的准确率，在动态学习预训练后准确率分别达到 96.11% 和 75.75%。

    Aug, 2023