Nov, 2023

跨领域动作识别的多模态实例修正

PDF
TL;DR我们提出了一种多模态实例细化（MMIR）方法，通过强化学习来减轻负迁移，该方法在双模态中训练了一个强化学习代理，在每个领域中选择出负样本以精炼训练数据。我们的方法在基准 EPIC-Kitchens 数据集上表现优于其他几种最先进的基线方法，证明了 MMIR 在减少负迁移方面的优势。
unsupervised cross-domain action recognitionnegative transfermulti-modal instance refinementreinforcement learningepic-kitchens dataset
发现论文，激发创造
  • 细粒度动作识别的多模态域自适应

    本文通过多模式自我监督对齐方法及对抗式对齐方法，提高细粒度行为识别跨环境泛化能力。在 EPIC-Kitchens 数据集中，多模式自我监督训练可将性能提高 2.4%，结合对抗式对齐方法可超过其他对抗式训练方法 3%。

    Jan, 2020

  • 多模态跨领域少样本学习用于主体动作识别

    通过多模态输入和无标签目标数据解决跨领域少样本学习中视角行为识别的两个关键挑战，即视角视频的领域差异和实际应用的计算成本问题。提出了 MM-CDFSL 方法，通过教师模型的多模态蒸馏和集成遮蔽推理，增强模型对目标域的适应性并提高推理速度。在多个视角数据集上的性能优于现有的跨领域少样本学习方法，同时提高了推理速度。

    May, 2024

  • 环境对抗域自适应动作识别

    本文提出了一种基于领域自适应的行为识别方法，使用对抗学习在跨域场景中学习跨域动作识别，从而实现对低光条件下的人类行为进行识别，并在 InFAR 和 XD145 动作数据集上取得了 SOTA 表现。

    Oct, 2022

  • 多样化匹配：一种面向领域适应的目标检测表示学习范式

    该研究介绍了一种针对目标检测的新型无监督域适应方法，通过域多样性和多域不变表示学习两个阶段来缓解像素级适应不完美和特征级适应带来的源偏差歧视。该方法在各种数据集上 mAP 平均精度方面的表现优于现有技术达到了 3%~11% 的大幅度提升。

    May, 2019

  • 领域特定先验和元学习用于少样本第一人称动作识别

    本文旨在提出一种基于元学习的有效的实现少样本迁移学习的方法，该方法使用局部视觉线索学习表示，以在具有不同场景和动作配置的公共数据集之间进行行为分类模型的迁移。结果表明，该方法在跨类别和跨数据集转移方面效果优于现有的行为分类方法。

    Jul, 2019

  • 学习跨模态对比特征以实现视频领域自适应

    设计了一个针对视频数据的统一框架，同时规范化跨模态和跨领域特征表示，通过对 UCF、HMDB 和 EPIC-Kitchens 等领域适应性行动识别基准数据集的实验，证明了方法的有效性。

    Aug, 2021

  • 视频基于少样本行为识别模型的跨领域能力理解

    本研究在跨领域少样本动作识别问题中，通过系统性评估已有的单领域、基于迁移的和跨领域方法，发现领域差异与性能之间存在相关性，揭示了一些对 CD-FSAR 方法有效的模型方面，以及需要进一步发展的方面，希望这些洞见能够激发和指导未来在这些方向上的研究工作。

    Jun, 2024

  • I$^2$MD：带有内外模态相互蒸馏的三维动作表征学习

    介绍了一种新的互模态和内模态的相互蒸馏框架，通过改进跨模态交互和解决相似样本干扰问题，实现了自监督学习，在三个数据集上取得了新的记录。

    Oct, 2023

  • 视频时刻检索的多模态跨域对齐网络

    本文提出了一种用于跨域视频时刻检索的 Multi-Modal Cross-Domain Alignment 网络以及三个模块：域对齐模块、跨模态对齐模块和特定对齐模块，通过联合训练这些模块，实现域内不变和语义对齐的跨模态表示。

    Sep, 2022

  • 图像和行为识别的开放域适应性

    提出了一种应对开放域数据集且能用于无监督和半监督领域自适应的方法，该方法在图像分类和动作识别等任务上实现了最先进的结果。

    Jul, 2019