Apr, 2021

弱监督视频显著目标检测

PDF
TL;DR本文提出了基于新型弱标注的视频显著目标检测模型，并使用外观运动融合模块和双向 ConvLSTM 框架来实现有效的多模态学习和长期时序建模，还设计了一种前景背景相似度损失和一种弱标注增强策略，以提高模型性能和伪标签生成技术。在六个基准视频显著性检测数据集上的实验结果证明了我们方案的有效性。
video salient object detectionweakly-supervised learningtemporal context modelinglabeling similaritypseudo-label generation
发现论文，激发创造
  • 使用伪标签的半监督视频显著目标检测

    本论文提出了一种基于半监督学习的视频显著性目标检测方法，使用伪标签从稀疏注释帧中生成像素级伪标签，并结合部分手动注释，学习了空间和时间线索，进而产生准确的显著性图。实验结果表明，我们的方法在 VOS、DAVIS 和 FBMS 三个公共基准测试数据集上均明显优于所有最先进的全监督方法。

    Aug, 2019

  • 基于点监督的弱监督视频显著目标检测

    本文提出了一种基于点监督的强基线模型，通过挖掘短期和长期视角的帧间互补信息来推断具有时间信息的显着性图，并采用混合令牌注意模块和长期交叉帧注意模块分别实现。实验结果表明，该方法优于以前的最先进的弱监督方法，甚至可以与一些全监督方法媲美。

    Jul, 2022

  • 使用点监督的弱监督显著物体检测

    本文采用点监督的方法提出一种新的弱监督显著性物体检测方法，并使用自适应遮罩洪水填充算法生成伪标签，和基于 Transformer 的模型进行训练，同时提出了一种 Non-Salient Suppression（NSS）方法来针对第一轮训练中生成的错误显著性标签进行优化，并应用于第二次训练中，最终在五个基准数据集上证明该方法优于其他先前的监督学习方法和完全监督的最新模型。

    Mar, 2022

  • 利用图像标签进行弱监督显著目标检测

    本篇论文提出采用无监督学习方法生成的显著图用于像素级注释，在此基础上采用简单而有效的算法训练卷积神经网络，使用图形模型和完全卷积网络为模型更新修复标签歧义和更新粗糙激活地图，结果表明，该算法与目前最佳的强监管方法相当，性能明显优于所有最新的无监督显著性检测方法。

    Mar, 2018

  • 基于草图注释的弱监督显著目标检测

    本文提出了一种基于涂鸦标注的弱监督显著物体检测模型，通过辅助边缘检测任务和门控结构感知损失来改进涂鸦标注的边缘定位问题，同时使用基于结构的损失约束恢复结构的范围，并推出了一种衡量预测显著图的结构对齐度的新度量标准 —— 显著性结构度量。大量实验结果表明，该方法不仅优于现有的弱监督 / 无监督方法，而且与一些最先进的完全监督模型持平。

    Mar, 2020

  • 基于全卷积网络的视频显著对象检测

    本文提出了一个深度学习模型，通过数据增强技术和动态显著性模型来高效地检测视频中的显著区域，该模型在 DAVIS 和 FBMS 数据集上达到了最新的性能标准。

    Feb, 2017

  • SSVOD：带有稀疏标注的半监督视频物体检测

    通过利用视频的动态运动特性，我们引入了 SSVOD，一个端到端的半监督视频目标检测框架，以利用大规模未标记的帧和稀疏注释来选择性地组装鲁棒的伪标签，并通过结合硬伪标签和软伪标签的置信度阈值进行伪标签的确认偏见和不确定性噪声的平衡，从而在 ImageNet-VID，Epic-KITCHENS 和 YouTube-VIS 数据集上实现了显著的性能改进。

    Sep, 2023

  • 局部显著性一致的结构一致性弱监督显著物体检测

    本文提出了一种基于草图标注的弱监督显著性物体检测的一轮端到端训练方法，使用局部一致性损失和显著性结构一致性损失来传播标签以预测完整的显著区域，同时使用聚合模块来更好地整合各种信息；该方法在六个基准测试中实现了最新水平表现。

    Dec, 2020

  • 从未标注的视频中学习对象检测与检索

    本文提出一种基于弱监督学习的目标检测和检索方法，通过对视频进行自然主体提取，使用对比采样处理背景拒绝，使用聚类评分算法解决高噪声标签问题，针对 11 个手动标注目标在 5000 帧中的评估结果与弱监督方法进行比较并提供上限参考。

    May, 2019

  • 基于活动的弱监督目标检测

    我们的研究工作在弱监督目标检测方面尝试利用不仅仅是物体类别标签，还使用数据中关联的动作标签；我们发现图像 / 视频中描绘的动作可以为相关物体的位置提供强烈的线索，并利用动作学习了一个与物体相关的空间先验，并将其融入到联合目标检测和动作分类模型中进行同时训练。我们在视频数据集和图像数据集上进行了实验来评估我们的弱监督目标检测模型的性能，结果表明，在 Charades 视频数据集上，我们的方法在 mAP 上比当前最先进的方法提高了 6% 以上。

    Apr, 2019