SIAVC:工业事故视频分类的半监督框架
本文提出了一种新框架来解决 Class-Incremental 视频分类(CIVC)任务,它可以不断更新新类别,同时保持旧视频的知识,并利用视频的一些特性来更好地减轻遗忘的挑战。 在 Something-Something V2 和 Kinetics 数据集上进行评估,结果显示本文的方法显着优于之前的最先进的类别增量学习方法。
Jun, 2021
通过使用 Video-Induced Visual Invariances (VIVI) 的自监督学习框架,本文提出了一种可以在 19 种视觉任务中实现超过最佳监督模型的自监督转移学习方法。
Dec, 2019
本文提出了一种基于卷积神经网络(CNN)的半监督学习方法:VideoSSL,用于视频分类,可以在只使用少量标注样本以及利用无标注数据的两种信号指导下,在 UCF101、HMDB51 和 Kinetics 三个公开数据集上实现出色的性能。
Feb, 2020
该论文介绍了上下文感知视频实例分割(CAVIS)的新框架,通过整合与每个对象相邻的上下文信息来增强实例关联性,提出上下文感知实例追踪器(CAIT)有效地提取和利用这些信息,并将周围的上下文数据与核心实例特征进行合并以提高追踪精度。此外,引入了原型跨帧对比(PCC)损失函数,确保帧间物体级特征的一致性,从而显著提高实例匹配的准确性。CAVIS 在视频实例分割(VIS)和视频全景分割(VPS)的所有基准数据集上展示出优越性能,特别是在尤为具有挑战性的 OVIS 数据集上表现出色。
Jul, 2024
通过引入双通道音频 - 视觉相似性约束(D-AVSC)和视觉注意聚焦(VAD)的音频 - 视觉类增量学习方法(AV-CIL),维持音频 - 视觉模态之间的实例感知和类感知语义相似性,保留先前学习的音频指导训练能力,从而克服了当前方法在不断增加的类增量步骤中保持语义相似性的挑战,实验证明 AV-CIL 在音频 - 视觉类增量学习中显著优于现有的类增量学习方法。
Aug, 2023
本文主要研究标签高效学习、视频动作检测、半监督主动学习、信息样本选择和时空定位等主题。提出了一个半监督主动学习方法,利用标记和未标记数据以及信息样本选择来进行动作检测。通过提出的噪声增强和基于高通滤波的关注机制(fft-attention)等技术,提高了半监督学习在视频动作检测中的准确性和泛化能力。通过在 UCF-101-24、JHMDB-21 和 Youtube-VOS 等数据集上的实验证明了该方法的有效性。
Dec, 2023
本文提出一种使用虚拟类别 (Virtual Category) 的方法,在处理困惑样本时,无需进行标签修正,从而提高模型的优化能力和嵌入空间的质量,在语义分割和目标检测等密集预测任务中,该方法明显超越了现有技术的状态,尤其在只有很少标签样本的情况下。
Dec, 2023
通过提出一种新的语义引导的多级对比方案以及邻域一致性感知单元(SMC-NCA)来提取半监督动作分割的强帧级表示,本文在三个基准测试上超过了其他最先进的方法,分别在编辑距离和准确度上提升了 17.8% 和 12.6%。此外,在仅有 5% 标记视频的情况下,提出的 NCA 单元在分割性能方面也取得了显著的改进,并在帕金森病小鼠行为数据集上展示了方法的有效性。
Dec, 2023