基于视觉转换器的对抗领域自适应
本研究提出了一种名为 “可传递视觉 Transformer” 的统一框架,其中融合了迁移学习、注意力机制和聚类方法,以实现基于标签源域的无标签目标域的知识迁移。 实验证明,本文所提出的 TVT 方法优于现有的微调和迁移学习方法,通过注入可学习的传递性适应模块来强制 ViT 集中注意力在可转移和辨别性特征上,并借助判别性聚类来增强特征多样性和分离度。
Aug, 2021
该研究以无监督域自适应为主题,探索了如何利用关键元素来强化 Vision Transformers 在无源目标适应中的性能,通过引入域表示图像(DRIs)作为关键组件,提高了 Transformer 在领域泛化中的效率。
Nov, 2023
使用转换器图层作为特征编码器,将空间和时间的可传递性关系融入到注意机制中,提出了 TransferAttn 框架以适应不同骨干的跨领域知识,通过改变自注意机制为可传递性注意机制,引入 DTAB 模块来增加 ViT 的可传递性,验证了 TransferAttn 和 DTAB 在多个数据集和不同骨干下的有效性。
Jul, 2024
我们提出了一种使用视觉变换器 (ViT) 对转换图像进行模型微调的新方法,该转换图像域自适应方法不会导致模型准确度下降,基于 ViT 的嵌入结构进行实施,实验证实了该方法在使用 CIFAR-10 和 CIFAR-100 数据集的加密图像时仍能防止准确度下降。
Sep, 2023
提出了一种用于视觉变换器(ViT)的隐私保护深度神经网络(DNN)的新方法,该方法允许我们不仅训练模型和使用视觉受保护的图像进行测试,而且还能避免使用加密图像导致的性能下降,而传统方法无法避免图像加密的影响。通过领域适应方法,高效地对使用加密图像的 ViT 进行微调。实验证明,该方法在 CIFAR-10 和 ImageNet 数据集的图像分类任务中,在分类准确度方面优于传统方法。
Jan, 2024
通过集群假设的视角,该研究提出了两个新的模型:结合领域对抗训练和对集群假设违反的惩罚的虚拟敌对领域自适应(VADA)模型以及采用自然梯度步骤进一步减小集群假设违反的 Decision-boundary 迭代细化训练与教师(DIRT-T)模型。广泛的实证结果表明,这两个模型的组合大大提高了数字,交通标志和 Wi-Fi 识别领域自适应基准的最新性能。
Feb, 2018
本文提出了一种基于 Transformer 的无监督领域自适应方法 CDTrans,采用双向中心感知标签算法生成准确的伪标签,采用权值共享的三支架 Transformer 框架对源 / 目标特征学习和源目标领域对齐进行自关注和交叉关注,实现了同时学习区分性领域 - 特定和领域不变表示的显式设计,实验证明该方法在公共数据集上的表现优于现有方法。
Sep, 2021
本文提出了一种名为 PMTrans 的模型,从博弈论的角度解决了视觉转换器在挑战性无监督领域自适应(UDA)任务中的问题,通过提出一种基于 ViT 的模块 ——PatchMix 的方法来有效地建立中间域,并利用特征和标签空间中的两个半监督 mixup 损失将它们最小化,以此将源域和目标域相连,以实现最大化交叉熵。通过这样做,我们将 UDA 的过程解释为由特征提取器、分类器和 PatchMix 组成的三方最小 - 最大交叉熵游戏,以找到纳什均衡,并利用 ViT 的注意力图重新加权每个补丁的标签,以获得更多的域辨别特征表示。经过对四个基准数据集的广泛实验,结果表明,PMTrans 在 Office-Home 上超过了 ViT 和 CNN 等最先进的方法 3.6%,在 Office-31 上超过了 1.4%,在 DomainNet 上超过了 17.7%。
Mar, 2023
本文提出一种自适应视觉变换器 (ViT) 方法,利用集成适配器模块和特征转换层适应不同域的数据,从而实现跨域活体检测,并在多个基准数据集上取得了与现有方法相媲美的性能.
Mar, 2022
本研究通过提出两种攻击策略,Self-Ensemble 和 Token Refinement,充分利用了 Vision Transformers 的自注意力和组合性质来增强对抗攻击的传递性能。
Jun, 2021