视频域自适应的时间关注对齐
提出了两个大规模视频领域自适应数据集,并研究了不同的视频 DA 集成方法,展示了同时对齐和学习时间动态可实现有效对齐的效果,最后提出了一个基于时间注意力的对抗适应网络 TA3N,实现更有效的领域对齐,达到了四个视频 DA 数据集的最优性能。
Jul, 2019
通过将问题描述为域适应问题,该研究提出了混合时间域适应模型,以在帧和视频级别特征空间中对齐嵌入特征,并进一步与域注意力机制相结合,以便更有效地进行域适应。在 GTEA、50Salads 和 Breakfast 数据集上验证了该方法目前的有效性。
Apr, 2021
本文介绍了一种新的 Temporal Attentive Moment Alignment Network 模型,针对 Multi-Source Video Domain Adaptation 问题,通过动态对齐空间和时间特征矩阵,同时构建具有鲁棒性的全局时间特征以提高精度。作者还提出了相应的测试基准,实验证明该模型在 Multi-Source Video Domain Adaptation 问题上有着卓越的表现。
Sep, 2021
本研究提出了一种名为 ATCoN 的新的注意力机制深度神经网络,以解决视频领域无源域自适应的挑战,该网络通过学习特征一致性和源预测一致性来提高时间一致性,并使用预测置信度优化局部与整体时间特征,该方法在不同领域的动作识别基准中表现出卓越的性能。
Mar, 2022
对于语义分割的无监督域自适应(DAS)的研究已经很丰富,本文通过比较图像和视频领域的 DAS 方法在一系列基准数据集上的表现,发现了一些有趣的现象并开源了相应的代码库。
Feb, 2024
本文针对无监督视频领域自适应这一实用但具有挑战性的任务,首次从分离视点入手,对相关领域信息和时空语义信息进行数据转换,提出了一种 TranSVAE 框架并设计了多个目标函数,经强大的实验验证,相比几种现有技术,TranSVAE 具有更大的有效性和优越性。
Aug, 2022
本研究提出了一种新的视觉增强技术 (Temporal Adversarial Augmentation), 该技术利用时间关注,通过最大化与时间相关的损失函数来移动神经网络的注意力分布,实现神经网络对于视频剪辑的视角多样化,增强了神经网络的泛化能力,提高模型对于 ODD 情况的稳健性,不需要额外的参数或计算成本。
Apr, 2023
本研究提出了一种自监督时序领域自适应方法,将动作分割任务作为一个跨领域问题进行重新构造,通过利用未标记的视频来解决由空间 - 时间变化引起的域间差异问题,同时还使用二进制和连续领域预测两个辅助任务,以匹配局部和全局时间动态的特征空间,表现优于其他域自适应方法,并具有使用更少标记训练数据实现相当性能的优势。
Mar, 2020
本文介绍了 Contrast and Mix(CoMix)的新对比学习框架,旨在为无监督的视频领域适应学习具有判别不变性的特征表示。与现有方法依靠对抗学习进行特征对齐不同,我们利用时间对比学习通过最大化未标记视频在两个不同速度下的编码表示的相似性以及最小化不同速度下播放的不同视频的相似性来弥合领域差距,还利用背景混合提出了一种用于时间对比性损失的新型扩展,从而允许每个锚点附加附加正物,增加视频领域适应的语义分享。此外,我们还使用目标伪标签集成了有监督的对比性学习目标,以增强视频领域适应的潜在空间的可区分性。在几个基准数据集上进行的广泛实验验证了我们所提出的方法的优越性。
Oct, 2021
本文提出 DA-VSN 用于视频语义分割,该模型通过领域自适应实现了对不同领域视频间的域差距问题解决,并使用一种基于时序一致性的规则(TCR)来提高模型性能。
Jul, 2021