Sep, 2023

基于语义约束匹配的弱监督目标定位 Transformer

PDF
TL;DR本研究提出了一种基于转换器的新型语义约束匹配网络（SCMN），通过匹配从成对图像中提取的粗糙类激活图（CAMs），从而隐式引导和校准转换器网络以缓解发散激活问题，在 CUB-200-2011 和 ILSVRC 数据集上进行的大量实验结果显示，我们的方法可以达到最新的最优性能，并且在性能上超过之前方法很大幅度。
weakly supervised object localizationself-attention mechanismvision transformersemantic-constraint matching network (scmn)divergent activation
发现论文，激发创造
  • 基于 Transformer 的弱监督目标定位及隐式空间校准

    该论文介绍了一种用于高精度弱监督下物体定位的外部模块 —— 空间校准模块（SCM），用于调整 Transformer 的长程建模，以帮助捕捉物体的空间一致性，提高训练期间的信息传输效率和生成的注意力图的边界精度，从而显着提高了性能表现。

    Jul, 2022

  • TS-CAM: Token Semantic Coupled Attention Map 用于弱监督目标定位

    通过引入 token 语义耦合的注意力映射（TS-CAM），该文利用 Transformer 网络的自注意力机制提取远程特征依赖性以避免局部激活问题，进而实现了语义感知定位的最新性能改进。

    Mar, 2021

  • LCTR：唤醒 Transformer 的本地连续性以进行弱监督的物体定位

    本文提出了一种基于 transformer 的新型框架 LCTR（局部连续 Transformer），旨在增强局部感知能力，包括关系补丁注意模块（RPAM）和 Cue Digging 模块（CDM），在两个广泛使用的数据集上进行了全面实验，验证了该方法的有效性。

    Dec, 2021

  • 利用 Swin Transformer 进行局部到全局弱监督语义分割

    近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。

    Jan, 2024

  • 双增强变换器网络用于弱监督语义分割

    通过使用双增强变换网络和自正则化约束，为弱监督语义分割（WSSS）问题提供一种有效的解决方法，该方法通过将 CNN 和 Transformer 网络相结合进行相互补充学习，并在最终输出上进行增强来改善分割效果。在具有挑战性的 PASCAL VOC 2012 基准测试上进行的大量系统评估结果表明，该方法的有效性优于先前的最先进方法。

    Sep, 2023

  • 使用样本内对比学习和一致性注意力进行弱监督目标定位

    本文提出了一种对弱监督对象定位进行背景辅助的方法，该方法旨在使用对比度关注损失，前景一致性损失和非局部注意力块来提高各层次对目标的感知，进而实现更高的图像定位精度。

    Sep, 2020

  • 多尺度视觉转换器在弱监督目标定位中的深度聚类引导精炼

    该研究论文提出了一种利用弱监督目标定位来学习物体定位的方法，通过多尺度物体定位变换器（MOLT）和深度聚类引导精化方法提高了定位准确度，并在公开的 ILSVRC-2012 数据集上进行了实验证明了该方法的有效性。

    Dec, 2023

  • ViTOL: 弱监督目标定位的视觉 Transformer

    我们提出了一种名为 ViTOL 的方法来处理弱监督目标定位问题，在自我关注和渐变关注实现的基础上，引入了基于补丁的关注中断层 (p-ADL) 用于增加定位图的覆盖范围，并且使用基于类别的注意力图生成机制来解决类不可知的问题，并在 ImageNet-1K 和 CUB 数据集上取得了 70.47% 和 73.17% 的最新结果。

    Apr, 2022

  • 揭示结构保持在弱监督下物体定位中的潜力

    本文提出了一种名为 SPA 的两阶段方法，通过受限激活模块（RAM）和自相关图生成模块（SCG）的设计，从分类网络中提取对象结构信息，以实现弱监督对象定位（WSOL），在 CUB-200-2011 和 ILSVRC 两个公共基准测试中，SPA 相对于基准方法有着显著和一致的性能提升。

    Mar, 2021

  • 弱监督语义分割的空间结构约束

    利用空间结构约束减轻关注扩展在弱监督语义分割中的非预期对象过度激活的问题，并通过 CAM 驱动重建模块和激活自调节模块来实现更好的对象定位和分割结果。

    Jan, 2024