Feb, 2024

学习领域不变的少样本动作识别的时间动态

PDF
TL;DR我们提出了 DITeD，或称为领域不变的时间动力学，在有限的样本和分布偏移的情况下，通过快速适应预训练模型来识别和利用预训练模型学到的可转移知识，其中关键挑战是如何识别和利用潜在变量之间的时间不变性（领域不变性）进行知识转移。
few-shot action recognitiontransferable knowledgetemporal invarianceditedknowledge transfer
发现论文，激发创造
  • 领域特定先验和元学习用于少样本第一人称动作识别

    本文旨在提出一种基于元学习的有效的实现少样本迁移学习的方法，该方法使用局部视觉线索学习表示，以在具有不同场景和动作配置的公共数据集之间进行行为分类模型的迁移。结果表明，该方法在跨类别和跨数据集转移方面效果优于现有的行为分类方法。

    Jul, 2019

  • 跨图动态迁移学习

    该研究提出了一个动态传输学习框架 DyTrans，使用基于 transformer 的时间编码模块建模动态域的时间信息，设计了动态域统一模块跨源和目标域高效地学习域不变特征，并在多个实际数据集上展示了 DyTrans 在从动态源域到动态目标域的知识转移中的有效性。

    May, 2023

  • D$^2$ST-Adapter：解耦与可变形的时空适配器对于少样本动作识别

    此研究论文介绍了适用于少样本动作识别的新型适配器调整框架 (D^2ST-Adapter)，其采用双通道架构以解耦空间和时间特征，并设计了可塑性的时空注意力模块，能够在 3D 时空视图中全局建模特征，同时保持轻量级设计。实验证明，这种方法在少样本动作识别方面优于现有方法，特别适用于对时态动态至关重要的挑战性场景。

    Dec, 2023

  • 精细动作识别的动态时空专业化学习

    该论文提出了一种基于动态时空特化的模块，通过特定神经元的专业化设计实现 fine-grained 行为识别，并使用特化优化算法进一步优化架构，以适应视频中广泛的时空变化，取得了最先进的性能表现。

    Sep, 2022

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 反演动态预训练为多任务模仿学习学习良好的表征

    本研究在模仿学习中评估了如何使用大型数据集进行预训练。我们提供了关于使用多任务演示和逆动力学建模的语境下进行预训练的证据，并在各种虚拟视觉操作问题中评估了这些证据。

    May, 2023

  • 跨领域少样本学习视频的 CDFSL-V 模型

    提出了一种新颖的跨领域少样本视频动作识别方法，利用自监督学习和课程学习平衡源领域和目标领域的信息以解决多样性之间的挑战。在几个具有挑战性的基准数据集上评估并展示了该方法优于现有的跨领域少样本学习技术。

    Sep, 2023

  • 通过领域自适应模仿学习动态系统的代表性轨迹

    本研究提出了 DATI，一个使用循环一致的生成对抗方法设计的迁移轨迹模仿的深度强化学习代理，在多个合成轨迹模式的实验中表现优于基线模型和最优控制，可以用于异常运动识别和空间不受限的轨迹数据挖掘。

    Apr, 2023

  • 高效图像到视频迁移学习的空间和时间解耦

    DiST 是一种双编码器结构，其中预训练的基础模型充当空间编码器，引入了轻量级网络作为时间编码器，通过插入一个集成分支来融合时空信息，从而实现了视频的空间和时间解耦学习，提高了性能表现。

    Sep, 2023

  • 环境对抗域自适应动作识别

    本文提出了一种基于领域自适应的行为识别方法，使用对抗学习在跨域场景中学习跨域动作识别，从而实现对低光条件下的人类行为进行识别，并在 InFAR 和 XD145 动作数据集上取得了 SOTA 表现。

    Oct, 2022