学习跨模态对比特征以实现视频领域自适应
本文介绍领域自适应和迁移学习的概述,涵盖不同类型的方案和历史浅层方法、深度卷积架构、超出图像分类的领域适应方法,以及将领域适应与其他机器学习解决方案相关联的讨论。
Feb, 2017
本文提出了一种新的领域自适应字典学习框架用于跨领域视觉识别,该方法通过学习一组中间领域,形成一个平滑的路径来弥补源域和目标域之间的差距,并通过分离共享字典和特定字典来实现更紧凑和再现性字典的学习,通过领域自适应稀疏编码和字典更新步骤学习。实验结果表明,该方法在三个公共数据集上表现优于大多数最先进的方法。
Apr, 2018
本文通过多模式自我监督对齐方法及对抗式对齐方法,提高细粒度行为识别跨环境泛化能力。在 EPIC-Kitchens 数据集中,多模式自我监督训练可将性能提高 2.4%,结合对抗式对齐方法可超过其他对抗式训练方法 3%。
Jan, 2020
本文提出一种Modality Compensation Network(MCN)用于RGB-D摄像机采集的视频中的人类动作识别。该网络通过深度CNN和LSTM网络构建,使用骨骼作为辅助模态来提取源模态的更具有区分性的特征,并通过调整适应性表示学习,以弥补测试时甚至是训练时骨架的信息损失。实验结果表明,在四个广泛使用的动作识别基准测试上,MCN优于现有的最佳方法。
Jan, 2020
该论文提出了一种在无监督领域适应的情况下,采用自我监督学习的对比方法以减少培训和测试集之间的领域差异,实现了简单而有效的领域对齐框架CDCL,并使用伪标签进行评估, 这种方法可以应用于无需数据源的情况并在图像分类方面取得了最先进的性能。
Jun, 2021
本文介绍了Contrast and Mix(CoMix)的新对比学习框架,旨在为无监督的视频领域适应学习具有判别不变性的特征表示。与现有方法依靠对抗学习进行特征对齐不同,我们利用时间对比学习通过最大化未标记视频在两个不同速度下的编码表示的相似性以及最小化不同速度下播放的不同视频的相似性来弥合领域差距,还利用背景混合提出了一种用于时间对比性损失的新型扩展,从而允许每个锚点附加附加正物,增加视频领域适应的语义分享。此外,我们还使用目标伪标签集成了有监督的对比性学习目标,以增强视频领域适应的潜在空间的可区分性。在几个基准数据集上进行的广泛实验验证了我们所提出的方法的优越性。
Oct, 2021
本文提出了一种自我监督学习方法,即可转移对比学习(TCL),其将SSL和所需的跨域可转移性紧密地联系起来,并通过特定的内存库和伪标签战略对源和目标之间的跨域内部类域差异进行惩罚
Dec, 2021
本文针对无监督域适应问题,提出了一种基于对比度预训练的分类器学习方法,该方法可以学习到跨领域的分类特征而无需在领域间建立不变特征映射,并在基准视觉数据集上获得了验证。
Apr, 2022
我们提出了一种多模态实例细化(MMIR)方法,通过强化学习来减轻负迁移,该方法在双模态中训练了一个强化学习代理,在每个领域中选择出负样本以精炼训练数据。我们的方法在基准EPIC-Kitchens数据集上表现优于其他几种最先进的基线方法,证明了MMIR在减少负迁移方面的优势。
Nov, 2023