SSG2:一种用于语义分割的新建模范式
通过 S-Seg 模型,我们可以实现准确的像素级别标签分配,无需依赖于图像级别的 VL 模型、地面实况掩码和自定义分组编码器,并且可以在多个测试数据集上进行良好的泛化而无需进行微调。
Jan, 2024
我们提出了一种双层 Siamese 结构网络(DSSN)进行像素级对比学习,通过在低级图像空间和高级特征空间中利用强增强视图对齐正样本对,最大化利用可用的无标签数据,并引入了一种新颖的面向类别感知的伪标签选择策略以改善弱到强监督的性能,并在 PASCAL VOC 2012 和 Cityscapes 两个数据集上取得了显著优于其他 SSS 算法的最新成果。
Jul, 2023
在手术视频中进行语义分割在术中导航、术后分析和手术教育方面有应用价值。我们提出了一种用于建模视频时间关系的新架构,通过改善帧之间的时间一致性以提高视频语义分割精度,并在两个数据集上验证了其性能提升。
Jun, 2023
我们提出了一个用于视频语义分割(VSS)的新解决方案 THE-Mask,首次引入了时态感知的分层物体查询,并利用简单的两轮匹配机制,在训练过程中以最小代价匹配更多的查询对象,同时在推理过程中无需任何额外代价。为了支持多对一的分配,我们设计了一种分层损失来训练带有相应主次层级关系的查询。此外,为了有效捕捉帧间的时态信息,我们提出了一个时态聚合解码器,以无缝融入 VSS 的掩码分类模型,利用时态敏感的多级查询方法,在最新的具有挑战性的 VSS 基准 VSPW 上取得了最先进的性能。
Sep, 2023
本文提出了一种高效的语义图像分割架构,使用深度空间(D2S)操作来消除传统编码器 - 解码器分割模型的解码器部分,减少计算量,相较于标准分割模型在路面分割数据集上表现可比、计算成本更低。
May, 2018
提出了一种具有判别性的单次拍摄分割跟踪器 D3S2,通过应用两种具有互补几何属性的目标模型,一种对广泛变换不变,包括非刚体变形,另一种假设刚性对象可同时实现稳健的在线目标分割。该跟踪器在不进行数据集微调的情况下,只训练分割作为主要输出,便比所有已发布的跟踪器在最近的短期跟踪基准 VOT2020 上表现更好,并且非常接近于 GOT-10k、TrackingNet、OTB100 和 LaSoT 上的最先进的跟踪器,D3S2 在视频目标分割基准上表现优于领先的分割跟踪器 SiamMask,并与顶级的视频目标分割算法相当。
Dec, 2021
本文提出了一种基于像素级原型对比度的弱监督语义分割方法,通过两种直观的先验知识,对图像的不同视角和单个视角内进行执行,旨在实施跨视图特征语义一致性规则,并促进特征空间的内部(间)类一致性(离散度),从而提高了两个强基线模型的精度,并在 PASCAL VOC 2012 上实现了新的最先进水平。
Oct, 2021
本文提出了一种端到端可训练的深度学习模型,利用时间信息来利用易于获取的未标记数据,从而解决了视频分割中标签稀缺的问题。实验结果表明,该模型能够显著优于基线方法和逐帧图像分割。
Aug, 2019
该研究提出了一种零样本语义分割的模型,使用两个流模型解决提案掩模生成和使用预先训练的视觉 - 语言模型的段分类,并采用修补切断和分类锚学习来提高分类准确率和降低运行时间。
Apr, 2023