时间等变对比视频表示学习
本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征,通过训练神经网络来区分不同的时间变换的视频序列,使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明,可显著提高UCF101和HMDB51上的动作识别的传递性能。
Jul, 2020
本文提出了一种基于自我监督学习的视频特征表示方法,在传统自我监督学习的基础上通过引入内部负样本来扩展负样本集,从而使单个视频更加充分地表达时空信息,并能够有效地提高视频检索和识别的性能。
Aug, 2020
本文引入了一种基于对比损失的自监督对比视频表示学习方法,利用在嵌入空间中相同短视频的两个增强剪辑进行学习,同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识,在 Kinetics-600 数据集上,该方法可以超过 ImageNet 和 SimCLR 的性能,达到70.4%的top-1准确率
Aug, 2020
本研究提出了一种新的时间对比学习框架,采用两个新的损失函数以提高现有自监督视频表示学习方法的性能,其中局部-局部时间对比损失和全局-局部时间对比损失实现了在各种下游视频理解任务中的显着改进。
Jan, 2021
研究自监督视频表示学习中的对比方法,提出一种考虑数据增强变量的对比学习框架,以提高针对时间信息进行的微粒视频动作识别的性能,并在多个视频基准测试中达到最先进水平。
Apr, 2021
本文提出了一种概率视频对比学习的自我监督表示学习方法,该方法基于混合高斯将视频剪辑呈现为正常分布并将它们组合成一个高斯分布混合物来建模整个视频分布,通过此方法我们可以避免对剪辑进行转换以生成增强剪辑视图的不必要策略,实验证明该方法在UCF101和HMDB51等最流行的基准测试上是最先进的视频表示学习方法。
Apr, 2022
本文提出了一种自我监督学习方法,用于学习视频的表示,结合了RGB帧和相关的音频,通过多模式对比目标来扩展时间自我监督的音频-视觉设置,并提出了新的对比目标。
Feb, 2023
文章通过自监督学习方法,提出了一个基于时间均衡的学生-教师半监督学习框架,动态地结合具有时变不变性和时变区别性的两个教师的知识,从而取得了UCF101,HMDB51和Kinetics400三个动作识别基准数据集的最新性能。
Mar, 2023
本文提出了一种时间参数对比学习策略Latent Time Navigation (LTN),以捕捉细微的运动,从而增强视频表示学习模型中时间感知特性,使模型在fine-grained和面向人类的任务中的分类性能得到了显著提高。同时,在预训练于Kinetics-400数据集的基础上,该模型在UCF101和HMDB51数据集上也取得了state-of-the-art的行动识别性能。
May, 2023
该研究解决了视频分析中对稳健帧级嵌入的需求,提出了一种自监督的表示学习方法,侧重于时间视频序列的对齐。通过引入局部对齐对比损失(LAC),结合了可微局部对齐损失和对比损失,显著提升了模型在动作识别任务中的表现,展现了新的对齐方法的潜力。
Sep, 2024