Dec, 2023

带有屏蔽预训练和协作自训练的无监督视频领域适应

PDF
TL;DR本研究解决了视频动作识别中的无监督领域适应问题。我们的方法称为 UNITE，利用图像教师模型将视频学生模型适应到目标域。UNITE 首先使用自监督预训练来促进目标域视频的辨别性特征学习，使用教师引导的遮蔽蒸馏目标进行自训练。然后，我们使用视频学生模型和图像教师模型一起对目标数据进行遮蔽自训练，生成改进的伪标签来处理无标签目标视频。我们的自训练过程成功地利用了两个模型的优势，在不同领域之间实现了强大的迁移性能。我们在多个视频领域适应基准上评估了我们的方法，并观察到比以前报告的结果有显著提高。
发现论文，激发创造
  • 多领域判别器与自适应自训练的无监督领域自适应

    本文提出一种基于无监督域自适应（UDA）的方法，针对城市场景的语义分割应用领域，将深度神经网络从合成数据源，适应到真实数据源上，通过引入对抗模块和自训练策略实现充分对齐两个数据分布，模块化的架构使得模型适用范围更广，实验结果表明该方法的有效性和稳健性。

    Apr, 2020

  • 视频语义分割的无监督域自适应

    本文提出了一种新的、针对视频语义分割的无监督域自适应方法，通过视频对抗训练和视频自我训练等网络，在实验中取得了优异的成绩，表明这一方法可以有效地将模拟数据转移到实际场景中，缓解视频领域对数据的需求。

    Jul, 2021

  • 细粒度动作识别的多模态域自适应

    本文通过多模式自我监督对齐方法及对抗式对齐方法，提高细粒度行为识别跨环境泛化能力。在 EPIC-Kitchens 数据集中，多模式自我监督训练可将性能提高 2.4%，结合对抗式对齐方法可超过其他对抗式训练方法 3%。

    Jan, 2020

  • AVATAR：用于目标域的对抗式自超级监督域自适应网络

    本研究提出了基于深度聚类、领域对抗学习、自监督学习和样本选择策略的 AVATAR 算法，解决了复杂领域自适应任务中的领域差异和样本噪声问题，实验结果表明其在三个领域自适应基准任务上均优于现有算法。

    Apr, 2023

  • 基于实例自适应技术的无监督领域自适应自训练

    本文提出了一种基于实例适应的自我训练框架，应用于语义分割的无监督域自适应问题，该方法采用了一种新的伪标签生成策略和区域引导正则化方法，以在 'GTA5 to Cityscapes' 和 'SYNTHIA to Cityscapes' 数据集上的任务中获得更好的性能表现。

    Aug, 2020

  • 无标签视频中人脸识别的无监督域适应

    通过特征水平领域自适应方法，该文提供一种学习判别式视频帧表示的方法，利用大规模无标签的视频数据，使得模型可以转移从大规模标记的静态图像中获得的判别性知识。实验表明，该方法可大幅度提升视频人脸识别性能，达到最先进的准确性。

    Aug, 2017

  • 检测、增强、组合和适应：目标检测中的四个无监督领域适应步骤

    无监督领域自适应在目标检测中发挥重要作用，该论文提出了一种新颖而有效的四步骤无监督领域自适应方法，利用自我监督学习同时训练源数据和目标数据，并在目标图像中识别具有最高置信度的检测区域作为伪标签，通过广泛实验，取得了领先竞争对手超过 2% mAP 的最先进性能。

    Aug, 2023

  • 基于类平衡自训练的语义分割领域自适应

    本文提出了一种基于迭代自训练的无监督域自适应框架，在自训练的基础上提出了一种新的类平衡自训练框架，并引入了空间先验来改善生成的标签。综合实验表明，所提出的方法在多个主要 UDA 设置下均实现了最先进的语义分割性能。

    Oct, 2018

  • 跨模态图像分割的高效无监督领域自适应算法

    本文提出了一种新的数据有效的多域医学图像分割的深度无监督领域自适应方法，该方法结合了基于变分自编码器的特征先验匹配和域对抗训练，以学习共享的域不变潜在空间进行分割。在公共多模态心脏图像分割数据集上评估，在仅使用一个未标记的 3D CT 扫描的情况下，该方法在相同的设定下胜过现有的技术。最后，我们对先验匹配和域对抗训练进行了消融研究，以阐明所提出方法的理论基础。

    Jul, 2019

  • 领域自适应语义分割的样式适应

    我们提出了一种简单直接的方法来减小不同领域之间的差异，该方法无需进行额外的参数计算，并且可以与基于自训练的无监督领域适应方法无缝集成。通过在潜在特征空间中将目标领域的风格传递给源领域，该模型在决策过程中优先考虑目标领域的风格，在图像级别和浅层特征图级别上解决了该问题，并实现了在目标领域上出色的性能。我们的方法在合成到真实的无监督领域适应任务中取得了显著的性能提升，比如在 GTA->Cityscapes 数据集上达到了显著的 UDA 性能，mIoU 为 76.93%，比先前最先进结果改善了 1.03 个百分点。

    Apr, 2024