基于对象的(却不局限于类的)视频领域适应
本文通过多模式自我监督对齐方法及对抗式对齐方法,提高细粒度行为识别跨环境泛化能力。在 EPIC-Kitchens 数据集中,多模式自我监督训练可将性能提高 2.4%,结合对抗式对齐方法可超过其他对抗式训练方法 3%。
Jan, 2020
通过将问题描述为域适应问题,该研究提出了混合时间域适应模型,以在帧和视频级别特征空间中对齐嵌入特征,并进一步与域注意力机制相结合,以便更有效地进行域适应。在 GTEA、50Salads 和 Breakfast 数据集上验证了该方法目前的有效性。
Apr, 2021
设计了一个针对视频数据的统一框架,同时规范化跨模态和跨领域特征表示,通过对UCF、HMDB和EPIC-Kitchens等领域适应性行动识别基准数据集的实验,证明了方法的有效性。
Aug, 2021
该论文提出了一种基于类条件极值理论和对抗学习的视频行为识别域自适应方法,旨在解决标注数据昂贵和多数视频领域自适应算法仅适用于封闭集情景的问题。该方法在小规模和大规模跨域视频数据集上均取得了最先进的性能。
Sep, 2021
本文提出了一种基于循环域自适应(CycDA)算法的无监督图像到视频域自适应方法,通过利用图像和视频之间的联合空间信息,以及采用独立的时空模型来缩小图像和视频数据的间隔以应对空间域转换和模态差异的挑战,并在基准数据集上取得了最新的技术进展。
Mar, 2022
本研究提出了一种基于预训练语言和视觉模型的 open-set 无监督视频域自适应方法,并引入了 AutoLabel 来发现和生成目标专有类别的类名,通过改进的 CLIP 模型可以有效地对目标专有的类别进行识别,并提高两个域之间分享类别的对齐。
Apr, 2023
本研究提出 FSDA-AR,即利用非常少量的标签目标视频实现有效自适应的少样本域自适应方法,通过深度学习技术中的潜在空间语义邻接损失,以及基于图注意网络的边缘丢失技术构建推荐算法和 FSDA-AR 基准测试,并在五个数据集上进行实验和评估,结果表明与非监督域自适应相比,在需要用较少的目标样本进行标记记录的情况下,FSDA-AR 的表现不逊于非监督领域自适应,在图像、视频等领域具有机器学习、计算机视觉等方面的研究应用价值。
May, 2023
本研究解决了视频动作识别中的无监督领域适应问题。我们的方法称为UNITE,利用图像教师模型将视频学生模型适应到目标域。UNITE首先使用自监督预训练来促进目标域视频的辨别性特征学习,使用教师引导的遮蔽蒸馏目标进行自训练。然后,我们使用视频学生模型和图像教师模型一起对目标数据进行遮蔽自训练,生成改进的伪标签来处理无标签目标视频。我们的自训练过程成功地利用了两个模型的优势,在不同领域之间实现了强大的迁移性能。我们在多个视频领域适应基准上评估了我们的方法,并观察到比以前报告的结果有显著提高。
Dec, 2023