Mar, 2024

对抗性屏蔽视频一致性用于无监督领域适应

PDF
TL;DR我们提出了一种基于 Transformer 的模型来学习类别识别和领域不变特征表示，通过两个创新设计：首先，基于生成对抗网络对齐领域，同时学习生成具有挑战性的蒙版和对抗性编码器以最小化源域和目标域之间的距离；其次，采用蒙版一致性学习模块来学习类别识别表示，在 Epic-Kitchen 和提出的 U-Ego4D 基准上取得了最先进的性能。
unsupervised domain adaptationegocentric videostransformer-based modelgenerative adversarial domain alignment networkmasked consistency learning
发现论文，激发创造
  • 带有屏蔽预训练和协作自训练的无监督视频领域适应

    本研究解决了视频动作识别中的无监督领域适应问题。我们的方法称为 UNITE，利用图像教师模型将视频学生模型适应到目标域。UNITE 首先使用自监督预训练来促进目标域视频的辨别性特征学习，使用教师引导的遮蔽蒸馏目标进行自训练。然后，我们使用视频学生模型和图像教师模型一起对目标数据进行遮蔽自训练，生成改进的伪标签来处理无标签目标视频。我们的自训练过程成功地利用了两个模型的优势，在不同领域之间实现了强大的迁移性能。我们在多个视频领域适应基准上评估了我们的方法，并观察到比以前报告的结果有显著提高。

    Dec, 2023

  • 无监督像素级域自适应生成对抗网络

    本文提出了一种基于生成对抗网络的方法，通过在像素空间中学习一种转换方法，将源域图像适应为与目标域相同的样子，以解决渲染图像训练模型泛化性不强的问题。该方法不仅可以生成逼真的样本，而且在许多无监督域适应场景中均优于现有技术，并证明了适应过程对于训练期间未被观察到的物体类别的泛化性。

    Dec, 2016

  • 生成敌对网络用于视频到视频的域自适应

    本文提出了一种名为 VideoGAN 的生成对抗网络，用于跨不同域传输基于视频的数据，并通过对结肠镜数据的实验验证，表明我们的 VideoGAN 可以显著提高多中心数据集上结直肠息肉分割的精度，并可用于将图像从阴天转换为晴天的任务。

    Apr, 2020

  • 无标签视频中人脸识别的无监督域适应

    通过特征水平领域自适应方法，该文提供一种学习判别式视频帧表示的方法，利用大规模无标签的视频数据，使得模型可以转移从大规模标记的静态图像中获得的判别性知识。实验表明，该方法可大幅度提升视频人脸识别性能，达到最先进的准确性。

    Aug, 2017

  • 带对抗训练的语言模型有效无监督领域自适应

    本文探讨了如何利用适当的遮罩策略来提高基于掩蔽的语言模型在领域自适应任务上的性能，并提出了一种有效的训练策略，即通过对更难以恢复的标记进行对抗性遮蔽，以使模型更好地适应目标任务。通过六个无监督领域适应任务，该方法在命名实体识别方面显著优于随机遮蔽策略，提高了 1.64 个 F1 分数。

    Oct, 2020

  • 无监督视频域适应：一个分离透视

    本文针对无监督视频领域自适应这一实用但具有挑战性的任务，首次从分离视点入手，对相关领域信息和时空语义信息进行数据转换，提出了一种 TranSVAE 框架并设计了多个目标函数，经强大的实验验证，相比几种现有技术，TranSVAE 具有更大的有效性和优越性。

    Aug, 2022

  • 生成以适应：使用生成对抗网络对齐领域

    本研究提出了一种使用生成对抗网络，在学习的联合特征空间中利用无监督数据来使源分布和目标分布更接近的方法，并在不同难度的实验环境中表现出卓越的性能，展示了我们方法的强大和广泛性。

    Apr, 2017

  • 利用合成数据进行学习：解决语义分割的领域偏移问题

    该研究提出了一种基于生成对抗网络（GANs）的新方法，以改进分割网络所学到的表示在合成和真实领域中的自适应，证明了其具有广泛性和可扩展性。

    Nov, 2017

  • 视频语义分割的无监督域自适应

    本文提出了一种新的、针对视频语义分割的无监督域自适应方法，通过视频对抗训练和视频自我训练等网络，在实验中取得了优异的成绩，表明这一方法可以有效地将模拟数据转移到实际场景中，缓解视频领域对数据的需求。

    Jul, 2021

  • 面部反欺诈的自领域适应

    本研究提出了一种自适应框架以应对面部反欺骗技术面临的跨域泛化问题，使用基于元学习的领域自适应算法，利用未标记的测试域数据来更新适配器以进一步提高性能。在四个公共数据集上的实验证明了该方法的有效性。

    Feb, 2021