IJCAIApr, 2022

CATrans: Few-Shot 分割的上下文和亲和力变换器

PDF
TL;DR本文提出了一种名为 CATrans 的新型分层结构，通过 Relation-guided Context Transformer 和 Relation-guided Affinity Transformer，将支持和查询二者之间的上下文信息和相似度信息有效结合，用于 Few-shot segmentation 任务，实验表明该方法优于现有的基于 Transformer 的方法。
few-shot segmentationtransformer-based methodscontext and affinity informationcatranshierarchical architecture
发现论文，激发创造
  • 针对目标的双变压器用于少样本分割

    使用少量有标签的支持图像来识别新类别对象的分割，本文提出了 Target-aware Bi-Transformer Network（TBTNet）以等效处理支持图像和查询图像，并设计了强大的 Target-aware Transformer Layer（TTL）以提取相关性并强制模型关注前景信息，该方法在 PASCAL-5i 和 COCO-20i 标准 FSS 基准测试上表现出色。

    Sep, 2023

  • 稠密亲和匹配用于少样本分割

    本文提出了一种密集亲和匹配（DAM）框架， 通过双向 3D 卷积密集捕捉每个支持 - 查询对中的像素对像素和像素对补丁关系来利用支持查询交互， 用于分割使用少量注释样本的新颖类别图像。

    Jul, 2023

  • CATFace: 基于跨属性引导变压器和自注意力蒸馏的低质量人脸识别

    通过应用软生物特征属性和自我注意力蒸馏方法，我们提出了一种新颖的多分支神经网络，用于提高低质量图像下面部识别的性能，实验证明我们的方法优于最先进的研究成果。

    Jan, 2024

  • 聚焦查询：用于少样本分割的对抗性挖掘 Transformer

    支持信息和查询中心 FSS 模型的对抗挖掘变压器 (AMFormer) 提供了准确的查询图像分割，即使只有粗略的支持指导或弱支持标签，通过优化产生更接近于地面真实的精确掩码来愚弄详细挖掘变压器

    Nov, 2023

  • CAT: 一种用于一次性目标检测的交叉注意力变换器

    本文提出了一种通用的跨注意力变换器模块来解决一次性物体检测中难以准确利用语义相似度和泛化的问题，并通过在 COCO、VOC 和 FSOD 等数据集上的大量实验表明其有效性和效率。

    Apr, 2021

  • 面向上下文的语音识别变换器转录器

    本文介绍了一种基于上下文的自动语音识别系统：context-aware transformer transducer (CATT) 网络，通过多头注意力机制、编码上下文数据和使用 BERT 等技术方法，取得了比基线 transformer transducer 和现有深度上下文模型分别提高了 24.2% 和 19.4% 的词错误率性能提升。

    Nov, 2021

  • 基于目标和上下文感知 Transformer 的高效零样本视觉检索

    该研究提出了一种零样本深度学习架构 TCT（Target and Context-aware Transformer），结合目标和上下文信息进行图像搜索，表现出类人的搜索效率，在具有挑战性的视觉搜索任务中超越最先进的模型，并在具有不协调上下文的不变视觉搜索下展现出灵活的搜索方式。

    Nov, 2022

  • CAFCT：卷积神经网络和 Transformer 的上下文和注意力特征融合在肝肿瘤分割中的应用

    我们提出了一种基于上下文和注意力特征融合增强的卷积神经网络（CNN）和 Transformer 混合网络（CAFCT）模型，用于肝肿瘤分割。在所提出的模型中，引入了其他三个模块：注意力特征融合（AFF）、DeepLabv3 的 Atrous 空间金字塔池化（ASPP）和注意力门（AGs），以改善与肿瘤边界相关的上下文信息，以实现准确的分割。实验结果表明，所提出的 CAFCT 在 Liver Tumor Segmentation Benchmark（LiTS）数据集上分别达到了 90.38% 的平均交并比（IoU）和 86.78% 的 Dice 分数，优于 Pure CNN 或 Transformer 方法，如 Attention U-Net 和 PVTFormer。

    Jan, 2024

  • CATs: 视觉对应的成本汇聚变压器

    本研究提出一种名为 Cost Aggregation Transformers (CATs) 的新型 cost aggregation network，以解决大规模几何和出现变化情况下的图像语义相似性匹配问题，利用全局的自我注意机制消除初始相关图之间的不准确匹配，通过外观关联建模辅助 cost 聚合过程，创新地定位多级聚合模块，加入交换注意力机制和残差连接来提高性能。

    Jun, 2021

  • 场景分割的上下文先验

    本文研究利用上下文依赖关系解决图像分割问题，提出了一种 Context Prior 神经网络，在特征集成时利用 Affinity Loss 监管不同类别的场景，从而提高了分割结果的准确性。实验证明，该网络在 ADE20K，PASCAL-Context 和 Cityscapes 的数据集中取得了较优的分割效果。

    Apr, 2020