Nov, 2023

GLAD：大领域差异下无监督视频领域自适应中的全局局部视图对齐和背景去偏

HTML
PDF
TL;DR本研究针对动作识别中无监督视频域适应的挑战性问题，特别关注具有相当大的域差异而不是现有工作主要处理标记源领域和未标记目标领域之间的小域差异的情况。为了建立更真实的环境，我们引入了一种新的UVDA场景，称为Kinetics->BABEL，该场景在时间动态和背景偏移方面具有更大的域差异。为了解决源领域和目标领域之间的动作持续时间差异所带来的时间差异问题，我们提出了一种全局局部视图对齐方法。为了减轻背景偏移问题，我们通过时间顺序学习来学习时间顺序敏感的表示，并通过背景增强来学习背景不变的表示。我们通过实验证明，所提出的方法在具有大域差异的Kinetics->BABEL数据集上相比现有方法表现出显著的改进。代码可以在此https URL找到。
发现论文，激发创造
  • 细粒度动作识别的多模态域自适应

    本文通过多模式自我监督对齐方法及对抗式对齐方法，提高细粒度行为识别跨环境泛化能力。在 EPIC-Kitchens 数据集中，多模式自我监督训练可将性能提高 2.4%，结合对抗式对齐方法可超过其他对抗式训练方法 3%。

    Jan, 2020

  • 联合自监督时域适应进行动作分割

    本研究提出了一种自监督时序领域自适应方法，将动作分割任务作为一个跨领域问题进行重新构造，通过利用未标记的视频来解决由空间 - 时间变化引起的域间差异问题，同时还使用二进制和连续领域预测两个辅助任务，以匹配局部和全局时间动态的特征空间，表现优于其他域自适应方法，并具有使用更少标记训练数据实现相当性能的优势。

    Mar, 2020

  • 混合时间域自适应的行动分割

    通过将问题描述为域适应问题，该研究提出了混合时间域适应模型，以在帧和视频级别特征空间中对齐嵌入特征，并进一步与域注意力机制相结合，以便更有效地进行域适应。在 GTEA、50Salads 和 Breakfast 数据集上验证了该方法目前的有效性。

    Apr, 2021

  • 学习跨模态对比特征以实现视频领域自适应

    设计了一个针对视频数据的统一框架，同时规范化跨模态和跨领域特征表示，通过对UCF、HMDB和EPIC-Kitchens等领域适应性行动识别基准数据集的实验，证明了方法的有效性。

    Aug, 2021

  • 开放集视频领域自适应的条件极值理论

    该论文提出了一种基于类条件极值理论和对抗学习的视频行为识别域自适应方法，旨在解决标注数据昂贵和多数视频领域自适应算法仅适用于封闭集情景的问题。该方法在小规模和大规模跨域视频数据集上均取得了最先进的性能。

    Sep, 2021

  • 通过学习时间一致性进行动作识别的无源视频域自适应

    本研究提出了一种名为ATCoN的新的注意力机制深度神经网络，以解决视频领域无源域自适应的挑战，该网络通过学习特征一致性和源预测一致性来提高时间一致性，并使用预测置信度优化局部与整体时间特征，该方法在不同领域的动作识别基准中表现出卓越的性能。

    Mar, 2022

  • 2022行动识别无监督领域自适应挑战赛: HNU-FPV队技术报告

    本研究介绍了一种利用信息图像区域来实现有效领域对齐的方法，并在2022 EPIC-Kitchens无监督领域适应（UDA）挑战中取得了第四名的成绩。该方法使用轻量级CNN提取输入双流视频帧的全局信息，并通过One Shot内容选择方法选择有信息量的图像块来进行特征对齐。

    Jul, 2022

  • 大型语言-视觉模型对无源视频领域自适应的非理性有效性

    利用大型语言视觉模型（LLVMs）进行领域自适应以提升无源视频无监督领域自适应（SFVUDA）方法的效果。

    Aug, 2023

  • 带有屏蔽预训练和协作自训练的无监督视频领域适应

    本研究解决了视频动作识别中的无监督领域适应问题。我们的方法称为UNITE，利用图像教师模型将视频学生模型适应到目标域。UNITE首先使用自监督预训练来促进目标域视频的辨别性特征学习，使用教师引导的遮蔽蒸馏目标进行自训练。然后，我们使用视频学生模型和图像教师模型一起对目标数据进行遮蔽自训练，生成改进的伪标签来处理无标签目标视频。我们的自训练过程成功地利用了两个模型的优势，在不同领域之间实现了强大的迁移性能。我们在多个视频领域适应基准上评估了我们的方法，并观察到比以前报告的结果有显著提高。

    Dec, 2023

  • 通过自我集成和条件嵌入对齐的无监督领域适应用于动作识别

    本研究针对可穿戴人类动作识别中缺乏专家注释和用户变化引起的领域差异问题，提出了一种名为μDAR的新型联合优化架构。该方法通过增强样本一致性、时间集成和条件分布对齐，显著提高了模型的分类泛化能力，实现在多个基准数据集上相较于先进无监督领域适应方法的宏观F1分数提升约4-12%。

    Oct, 2024