基于多层次一致性的弱监督微表情和宏表情识别
本文提出了一种基于视频级别标签进行训练的视频动作识别模型,该模型利用大型图像数据集中训练的逐帧人物检测器,在多实例学习框架内实现。此外,我们使用新的概率多实例学习方法来估计每个预测的不确定性,并在AVA数据集上取得了第一个弱监督结果,在UCF101-24上获得了弱监督方法的最新成果。
Jul, 2020
本文提出了一种基于草图标注的弱监督显著性物体检测的一轮端到端训练方法,使用局部一致性损失和显著性结构一致性损失来传播标签以预测完整的显著区域,同时使用聚合模块来更好地整合各种信息;该方法在六个基准测试中实现了最新水平表现。
Dec, 2020
本文提出了基于新型弱标注的视频显著目标检测模型,并使用外观运动融合模块和双向ConvLSTM框架来实现有效的多模态学习和长期时序建模,还设计了一种前景背景相似度损失和一种弱标注增强策略,以提高模型性能和伪标签生成技术。在六个基准视频显著性检测数据集上的实验结果证明了我们方案的有效性。
Apr, 2021
本文旨在解决弱监督下视听视频解析任务中的异态噪声标签问题,并提出了一种标签清理的训练策略。通过将每个模态中每个实例的损失进行排序并根据损失的关系选择噪声样本,我们的方法在视觉指标方面取得了明显进展,从而表明我们的方法是有效的。
Apr, 2022
本文提出了一种基于点监督的强基线模型,通过挖掘短期和长期视角的帧间互补信息来推断具有时间信息的显着性图,并采用混合令牌注意模块和长期交叉帧注意模块分别实现。实验结果表明,该方法优于以前的最先进的弱监督方法,甚至可以与一些全监督方法媲美。
Jul, 2022
提出了一个使用浅层卷积神经网络进行小表情识别的框架,其中运动由Riesz Pyramid计算的相位来表示,相比于光流法,其提供了更局部的运动估计,使得小表达识别性能更高,并且降低了77.8%的计算量,达到了在两个公共数据集上的最新性能。
May, 2023
提出了一种基于点级弱监督的表情捕捉(PWES)框架,用于解决视频级和帧级表情捕捉方法的问题。通过多种策略生成更可靠的伪标签,并利用分布引导的特征对比学习增强特征相似性和变异性。在多个数据集上的实验结果表明,PWES方法取得了与全监督方法相当的性能。
Mar, 2024
本研究针对微表情分析中检测和识别任务存在的局限,提出了一种新颖的基于时间状态转变的架构,代替了传统的窗口级分类方法。通过结合微表情检测与情感识别任务,本研究的方法有效提高了分析性能,并在大量实验中展示了其卓越的效果。
Sep, 2024