May, 2023

Transformer 中减少弱监督语义分割中的过度平滑现象

PDF
TL;DR本文从亲和矩阵的连续性及其导致的平滑化现象，以及增强的注意力矩阵在深层的噪音问题入手，提出了一种新的自适应反激活机制（AReAM），该机制通过通过对亲和矩阵的局部和全局关注，可有效减少无关的背景噪声，从而提升弱监督语义分割的性能。
发现论文，激发创造
  • 从图的视角重新审视 BERT 中的过度平滑问题

    本文针对 Transformer-based models 中存在的过度平滑问题，从图的角度进行分析，发现标准化层在过度平滑问题中发挥了关键作用，提出了一种基于层次融合策略的方法以缓解该问题。

    Feb, 2022

  • 弱监督语义分割的激活调制和重新校准方案

    提出了一种活动调制和校准 (AMR) 方案，利用聚光分支和补偿分支获得加权的 CAMs，提供重新校准和任务特定的概念来提高图像级弱监督语义分割的性能。

    Dec, 2021

  • 弱监督语义分割自监督等变注意力机制

    本文提出了一种自我监督的等变注意机制方法 (SEAM) 来解决基于图像级别弱监督学习语义分割的问题。该方法通过提出一致性规则，并利用像素相关模块 (PCM) 来处理背景信息，从而提高了实验效果。

    Apr, 2020

  • 自注意力层

    通过对 transformer 中不同标记和 graph neural network 中不同节点在深层的相似性进行分析，我们提出了一个简单的修正项，它可以有效地消除过度平滑问题，在弱监督分割任务上表现优于通常基准方法，并且在非常深的图神经网络架构训练上显著提高了训练效果。

    Jun, 2023

  • 基于语义约束匹配的弱监督目标定位 Transformer

    本研究提出了一种基于转换器的新型语义约束匹配网络（SCMN），通过匹配从成对图像中提取的粗糙类激活图（CAMs），从而隐式引导和校准转换器网络以缓解发散激活问题，在 CUB-200-2011 和 ILSVRC 数据集上进行的大量实验结果显示，我们的方法可以达到最新的最优性能，并且在性能上超过之前方法很大幅度。

    Sep, 2023

  • GETAM：针对弱监督语义分割的梯度加权元素级 Transformer 注意力图

    本文针对弱监督下的语义分割问题，提出了基于 Transformer 的方法，并引入了 Gradient weighted Element wise Transformer Attention Map（GETAM）来提高分类器的效果，并在 PASCAL VOC 和 COCO 数据集上实现了优于现有技术的结果。

    Dec, 2021

  • 弱监督语义分割的注意力图背景噪声消除

    基于 Conformer 的 TransCAM 方法在弱监督语义分割中解决了背景噪声的问题，减少了背景噪声的影响，提高了伪标签的准确性。在实验中，我们的模型在 PASCAL VOC 2012 验证数据上达到了 70.5% 的分割性能，在测试数据上达到了 71.1% 的分割性能，在 MS COCO 2014 数据上达到了 45.9% 的分割性能，优于 TransCAM 方法。

    Apr, 2024

  • 基于注意力机制和软最大值的无监督多目标分割

    利用平移等变性注意机制进行的无监督物体中心表示学习和多物体检测与分割架构，其中使用注意机制来预测场景中物体的坐标并为每个物体关联一个特征向量。

    May, 2022

  • 从注意力中学习关联性：利用 Transformer 进行端到端弱监督语义分割

    本文介绍使用 Transformer 结合注意力机制来改善弱监督语义分割的问题，提出了 Affinity from Attention 和 Pixel-Adaptive Refinement 模块来学习和精华像素标签和相似度，本方法在多个数据集表现非常出色。

    Mar, 2022

  • 弱监督语义分割的全对一一致性学习

    通过提出新的基于 Transformer 的正则化方法，我们改进了弱监督语义分割（WSSS）中的目标定位问题。我们引入了一种全对一的一致性正则化方法，以保持不同图像增强之间的激活强度不变，并确保在每个 CAM 中的区域之间的关联保持一致。此外，我们还引入了一种利用类令牌梯度的新型类别定位方法。我们的方法可以无缝地集成到使用 Transformer 的现有 WSSS 方法中，并在 PASCAL VOC 和 MS COCO 数据集上得到了卓越的 WSSS 性能。

    Aug, 2023