May, 2023

使用半监督学习和视觉 Transformer 的细粒度分类迁移学习

PDF
TL;DR本研究探讨了 Semi-ViT，一种使用半监督学习技术微调 ViT 模型的图像分类方法，该方法更适用于缺乏注释数据的情况，特别是在电子商务等领域。我们的研究发现，即使在有限的注释数据的情况下，Semi-ViT 的性能也优于传统卷积神经网络（CNN）和 ViT。这些发现表明，Semi-ViT 在需要精细分类视觉数据的应用领域具有重要的应用前景。
fine-grained classificationvisual transformerssemi-supervised learningimage classificatione-commerce
发现论文，激发创造
  • 规模化半监督视觉 Transformer 模型

    该研究探讨了图像 Transformer（ViT）的半监督学习（SSL），提出了一种新的 SSL 流程和一种概率伪混合机制，Semi-ViT 可以实现与卷积神经网络相媲美或更好的性能，并且具有可扩展性。

    Aug, 2022

  • 探索 Vision Transformers 用于细粒度分类

    研究提出了一种多阶段的 Vision Transformer 框架，用于细粒度图像分类，可在不需要架构变化的情况下定位信息图像区域。 Attention-guided 增强技术提高了模型性能，并在四个流行的细粒度基准测试中进行了实验，同时通过定性结果证明了模型的可解释性。

    Jun, 2021

  • 基于显著掩膜引导的视觉 Transformer 用于细粒度分类

    本文提出了一个简单而有效的 Salient Mask-Guided Vision Transformer（SM-ViT）方法来在精细 - grained 视觉分类（FGVC）问题中捕捉潜在的可区分特征，进而提高视觉 Transformer 模型的分类性能。实验证明，SM-ViT 比现有的基于 ViT 的方法表现更优秀，需要更少的资源和较低的输入图像分辨率。

    May, 2023

  • TransFG: 用于细粒度识别的 Transformer 架构

    本文介绍了一个基于 Vision Transformer 和 Part Selection Module 的模型 ——TransFG，可以有效提取重要的图像特征，应用于 Fine-grained visual classification，实现了最先进的表现。

    Mar, 2021

  • 使用混合多模态视觉 Transformer-CNN 模型增强细粒度 3D 物体识别能力

    提出了一种混合多模态视觉转换器和卷积神经网络方法以改善精细分类识别，通过生成两个合成数据集来解决 FGVC 3D 数据集不足的问题，并成功将其与机器人框架集成，展示其在模拟和实际机器人场景中作为细粒度感知工具的潜力。

    Oct, 2022

  • 使用小数据集高效训练视觉 Transformer

    本文研究使用自监督任务和少量数据进行训练的 Visual Transformer 网络的表现，并发现新的自监督任务可以在空间关系方面鼓励 VT 网络，从而显著提高其小数据集准确性。

    Jun, 2021

  • 自监督 Vision Transformer 的蒸馏用于弱监督少样本分类与分割

    我们提出了一种利用自监督预训练的视觉 Transformer（ViT）来解决弱监督少样本图像分类和分割的方法，通过自注意力机制，利用自监督 ViT 的标记表示，通过独立的任务头预测分类和分割结果。实验结果表明，我们的模型在不需要像素级标签的情况下能够有效地学习分类和分割，只使用图像级别标签，并且在少量或无像素级标签的情况下表现出显著的性能提升。

    Jul, 2023

  • 特征融合视觉 Transformer 用于细粒度视觉分类

    本文提出了一个基于 Transformer 的框架，通过聚合特征来处理细粒度视觉分类任务，其中引入了一种新的令牌选择模块（MAWS）来引导网络有效地选择具有判别性的令牌，从而实现了最先进的性能。

    Jul, 2021

  • 自我监督的少样本变换器

    本研究探讨了视觉变换器 (ViT) 在少样本学习中的能力，发现在相同的少样本学习框架下，用 ViT 模型替换常用的 CNN 特征提取器会严重削弱少样本分类性能；本研究提出了一种名为 Self-promoted sUpervisioN (SUN) 的简单而有效的 ViT 少样本训练框架，用于改善 token 依赖性问题，并通过实验证明了 SUN 优于其他同类技术，并超过了 CNN 的最新研究成果。

    Mar, 2022

  • Conviformers: 基于卷积引导的视觉 Transformer

    该论文提出了一种新的分类方法，使用 Conviformer 和 PreSizer 处理高维度植物图像，实现细粒度植物图像分类，最终在 Herbarium 和 iNaturalist 数据集上取得了 SoTA 效果。

    Aug, 2022