MMAug, 2022

SIM-Trans：用于精细视觉分类的结构信息建模 Transformer

PDF
TL;DR本文提出了一种结构信息建模 transformer 方法（SIM-Trans），以增强 Fine-grained visual categorization 任务中物体的判别表征学习，其中引入了两个轻量级并易于端到端训练的模块：结构信息学习模块（SIL）和多级特征增强模块（MFB），该方法在 Fei-grained 视觉分类基准测试数据集上实现了最先进的性能。
fine-grained visual categorizationstructure information modeling transformerdiscriminative representation learningmulti-level feature boostingtransformer network
发现论文，激发创造
  • TransFG: 用于细粒度识别的 Transformer 架构

    本文介绍了一个基于 Vision Transformer 和 Part Selection Module 的模型 ——TransFG，可以有效提取重要的图像特征，应用于 Fine-grained visual classification，实现了最先进的表现。

    Mar, 2021

  • 特征融合视觉 Transformer 用于细粒度视觉分类

    本文提出了一个基于 Transformer 的框架，通过聚合特征来处理细粒度视觉分类任务，其中引入了一种新的令牌选择模块（MAWS）来引导网络有效地选择具有判别性的令牌，从而实现了最先进的性能。

    Jul, 2021

  • 基于显著掩膜引导的视觉 Transformer 用于细粒度分类

    本文提出了一个简单而有效的 Salient Mask-Guided Vision Transformer（SM-ViT）方法来在精细 - grained 视觉分类（FGVC）问题中捕捉潜在的可区分特征，进而提高视觉 Transformer 模型的分类性能。实验证明，SM-ViT 比现有的基于 ViT 的方法表现更优秀，需要更少的资源和较低的输入图像分辨率。

    May, 2023

  • 探索 Vision Transformers 用于细粒度分类

    研究提出了一种多阶段的 Vision Transformer 框架，用于细粒度图像分类，可在不需要架构变化的情况下定位信息图像区域。 Attention-guided 增强技术提高了模型性能，并在四个流行的细粒度基准测试中进行了实验，同时通过定性结果证明了模型的可解释性。

    Jun, 2021

  • 使用半监督学习和视觉 Transformer 的细粒度分类迁移学习

    本研究探讨了 Semi-ViT，一种使用半监督学习技术微调 ViT 模型的图像分类方法，该方法更适用于缺乏注释数据的情况，特别是在电子商务等领域。我们的研究发现，即使在有限的注释数据的情况下，Semi-ViT 的性能也优于传统卷积神经网络（CNN）和 ViT。这些发现表明，Semi-ViT 在需要精细分类视觉数据的应用领域具有重要的应用前景。

    May, 2023

  • R2-Trans: 细粒度视觉分类中的冗余减少

    本文提出了一种新颖的 Fine-grained visual categorization (FGVC) 方法，可以同时运用环境线索中局部但足够区分的信息和对目标类别下的冗余信息进行压缩，通过计算批次中高权重区域的比例和自适应阈值，实现了输入空间中背景信息的适度提取。此外，本文还使用信息瓶颈方法指导网络在特征空间中学习最小充分表示。实验结果表明，此方法在三个常用基准数据集上表现优于其他最先进的方法和基线模型。

    Apr, 2022

  • 代码结构指导的源代码摘要变压器

    本文提出了一个名为 SG-Trans 的新颖方法，通过将本地符号信息和全局句法结构注入到 Transformer 的自注意模块作为归纳偏置，并设计能够分布在 Transformer 的较低层和高层的注意头中，进一步捕捉代码的层次特征，将其有效地集成到 Transformer 来实现深度学习自动生成代码摘要，经过广泛评估，SG-Trans 相对于最佳基准测试结果在两个基准数据集上分别提高了 1.4％和 2.0％的 METEOR 得分，这是一种广泛用于测量生成质量的指标。

    Apr, 2021

  • 使用混合多模态视觉 Transformer-CNN 模型增强细粒度 3D 物体识别能力

    提出了一种混合多模态视觉转换器和卷积神经网络方法以改善精细分类识别，通过生成两个合成数据集来解决 FGVC 3D 数据集不足的问题，并成功将其与机器人框架集成，展示其在模拟和实际机器人场景中作为细粒度感知工具的潜力。

    Oct, 2022

  • C2FTrans: 用于医学图像分割的粗 - 细双向变换器

    本文提出了一种新颖的多尺度架构 C2FTrans，它将医学图像分割形式化为粗 - 细过程。其中包含了一个跨尺度全局 Transformer 和一个边界感知局部 Transformer，能够在保持精细的同时降低计算复杂度，并在三个公共数据集上展现了超过现有 CNN 和基于 Transformer 的方法的表现。

    Jun, 2022

  • 细粒度视觉分类的注意力卷积二元神经树

    本文提出了一种基于关注的卷积二叉神经树框架，并使用路由功能、注意力变换器模块以及负对数似然损失函数等处理技术来解决细粒度视觉分类中遇到的问题，在多个标准数据集上的实验结果表明该方法性能优于先前提出的方法。

    Sep, 2019