Mar, 2024

基于 ViT 的 CNN 学习：一种用于领域自适应的显式类别边界的混合模型

PDF
TL;DR通过设计一种名为明确类别边界 (ECB) 的混合方法，我们充分利用了 ViT 和 CNN 的独特优势，其中 ECB 利用 ViT 的特性来显式地找到特定类别的决策边界，同时 CNN 通过最小化两个分类器的概率之差来对目标特征进行聚类，最终 ViT 和 CNN 相互交换知识以提高伪标签的质量和减小模型间的知识差异，相较于传统的领域自适应方法，我们的 ECB 方法取得了卓越的性能。
domain adaptationconvolutional neural networksvision transformersexplicitly class-specific boundarieshybrid method
发现论文，激发创造
  • 卷积神经网络和视觉变换器在时尚 MNIST 分类中的应用：文献综述

    对卷积神经网络（CNN）和视觉 Transformer（ViT）在图像分类领域的比较分析进行了研究，特别关注电子商务行业中的服装分类。通过使用时尚 MNIST 数据集，研究了 CNN 和 ViT 的独特属性。研究发现，CNN 长期以来一直是图像分类的基石，而 ViT 引入了一种创新的自注意机制，可以对不同输入数据组件进行细致的加权。既有文献的综合分析揭示了 ViT 和 CNN 在图像分类领域的区别，同时研究了使用这两种架构的最新方法，旨在确定 ViT 和 CNN 在电子商务行业中对时尚 MNIST 数据集进行图像分类的最合适架构。本研究强调了将这两种架构以不同形式结合以提高整体性能的重要性，因为 CNN 擅长识别局部模式，而 ViT 擅长抓住整体上下文，这使得它们的组合成为提高图像分类性能的一种有前途的策略。

    Jun, 2024

  • 卷积嵌入使分层视觉 Transformer 更强大

    本文研究了如何使用混合 CNN / ViTs 的宏观架构来增强分层 ViTs 的性能，特别地，我们研究了令牌嵌入层的作用，引入了卷积嵌入（CE），并系统地揭示了 CE 如何在 ViTs 中注入理想的归纳偏差。 我们将最佳 CE 配置应用于 4 个最近发布的最先进的 ViT 中，有效地提高了相应的性能，并释放了一组高效的混合 CNN / ViT，名为 CETNets，可作为通用视觉骨干。

    Jul, 2022

  • 基于视觉转换器的对抗领域自适应

    无监督领域自适应方法已取得了最新的优秀成果，并大多数使用了卷积神经网络作为特征提取器，然而视觉转换器虽已被广泛应用于计算机视觉任务，却未在对抗性领域自适应中研究过，本文填补了这一空白，并证明视觉转换器可直接应用于现有的对抗性领域自适应方法，以提升性能。

    Apr, 2024

  • 探索混合 CNN 和视觉转换器的协同效应：计算机视觉的综述

    综述探讨了卷积神经网络（CNN）与视觉 Transformer（ViT）架构的混合体，深入检查了最新的混合 CNN-ViT 架构文献，探索了这两种方法之间的协同作用。通过对混合 CV 架构的研究，旨在作为一个指导资源，促进对 CNN 和 ViT 之间错综复杂的动态关系及其对 CV 架构未来的共同影响的更深入的理解。

    Feb, 2024

  • 针对隐私保护视觉转换器的高效微调与领域自适应

    提出了一种用于视觉变换器（ViT）的隐私保护深度神经网络（DNN）的新方法，该方法允许我们不仅训练模型和使用视觉受保护的图像进行测试，而且还能避免使用加密图像导致的性能下降，而传统方法无法避免图像加密的影响。通过领域适应方法，高效地对使用加密图像的 ViT 进行微调。实验证明，该方法在 CIFAR-10 和 ImageNet 数据集的图像分类任务中，在分类准确度方面优于传统方法。

    Jan, 2024

  • 优秀的学生具备合作和可靠性：CNN-Transformer 语义分割的协同学习

    本文介绍了一种在线知识蒸馏框架，通过选择和交换可靠知识来协同学习基于卷积神经网络（CNN）和视觉变压器（ViT）的模型，以进行语义分割。经过大量实验验证，我们提出的框架在大幅领先于现有的在线蒸馏方法的同时，展示了 ViT 和 CNN 模型之间协同学习的有效性。

    Jul, 2023

  • TVT：基于视觉 Transformer 的无监督域自适应模型

    本研究提出了一种名为 “可传递视觉 Transformer” 的统一框架，其中融合了迁移学习、注意力机制和聚类方法，以实现基于标签源域的无标签目标域的知识迁移。 实验证明，本文所提出的 TVT 方法优于现有的微调和迁移学习方法，通过注入可学习的传递性适应模块来强制 ViT 集中注意力在可转移和辨别性特征上，并借助判别性聚类来增强特征多样性和分离度。

    Aug, 2021

  • 引导 ViT：解放视觉 Transformer 从预训练中

    本研究提出了一种基于卷积神经网络的归纳偏差来加速模型收敛训练的方法，不再需要观像变换器（ViTs）使用大规模的预训练数据。实验结果表明，加入归纳偏差能够显著加速 ViTs 收敛速度并用更少的参数胜过传统 CNNs。

    Dec, 2021

  • 加密图像下高效微调视觉转换模型的领域适应

    我们提出了一种使用视觉变换器 (ViT) 对转换图像进行模型微调的新方法，该转换图像域自适应方法不会导致模型准确度下降，基于 ViT 的嵌入结构进行实施，实验证实了该方法在使用 CIFAR-10 和 CIFAR-100 数据集的加密图像时仍能防止准确度下降。

    Sep, 2023

  • ViTs 随处可见：综合研究展示不同领域中的视觉 Transformer

    Transformer 设计是自然语言处理任务的事实标准，并且对计算机视觉领域的研究人员产生了兴趣。与卷积神经网络相比，基于 Transformer 的 Vision Transformers（ViTs）在许多视觉问题中变得更加流行和占主导地位。

    Oct, 2023