视觉 Transformer 在领域适应与泛化中的应用：鲁棒性研究

Apr, 2024

视觉 Transformer 在领域适应与泛化中的应用：鲁棒性研究

Vision Transformers in Domain Adaptation and Generalization: A Study of Robustness

Shadi Alijani, Jamil Fayyad, Homayoun Najjaran

TL;DR本文研究了视觉 Transformer 在领域适应和领域泛化方案中的应用，包括特征级、实例级、模型级以及混合方法的适应，以及多领域学习、元学习、正则化技术和数据增强策略的领域泛化方法，总结了各种与分布变化相关的策略，并提供了有价值的洞见和综合表格，展示了视觉 Transformer 在处理分布变化方面的多样性和实用性。

Abstract

deep learning models are often evaluated in scenarios where the data distribution is different from those used in the training and validation phases. The discrepancy presents a challenge for accurately predicting the performance of models once deployed on the target distribution. Domai

deep learning domain adaptation domain generalization vision transformers distribution shifts

发现论文，激发创造

使用双向编码器视觉变换器进行领域泛化

本文旨在探讨如何在面对数据分布与所训练模型不同的情况下，通过使用视觉转换器架构进行域泛化，并取得了显著的验证和测试准确度提高，成功地克服了内部分布和超出分布数据之间的差距。

Jul, 2023

加密图像下高效微调视觉转换模型的领域适应

我们提出了一种使用视觉变换器 (ViT) 对转换图像进行模型微调的新方法，该转换图像域自适应方法不会导致模型准确度下降，基于 ViT 的嵌入结构进行实施，实验证实了该方法在使用 CIFAR-10 和 CIFAR-100 数据集的加密图像时仍能防止准确度下降。

Sep, 2023

视觉 Transformer 中的多样特征学习以提高泛化性能

通过修剪与不必要特征相关的注意力头和鼓励输入梯度正交性，我们提出一种方法提高深度学习模型对分布变化的适应性并增加特征的多样性和互补性。

Aug, 2023

视觉转换器适配器适用于可传递多任务学习

我们引入了第一款多任务视觉变换器适配器，它能学习到适用于新任务和领域的通用任务关联性。我们的适配器融合在现成的视觉变换器骨干网络中，能够同时解决多个密集视觉任务，而不像现有的多任务变换器那样需要大量的参数。与同时方法相比，我们无需在添加新任务或领域时重新训练或微调。我们在适配器框架中引入了一种任务适应的注意机制，将基于梯度的任务相似度与基于注意力的相似度相结合。所学习的任务关联性可推广到以下情况：零样本任务迁移、无监督领域适应以及不需要对新领域进行微调的泛化。我们证明了我们的方法不仅优于现有的基于卷积神经网络的多任务方法，还优于基于视觉变换器的方法。

Aug, 2023

深度视觉领域自适应：一份综述

本研究提供了关于计算机视觉领域中，基于深度学习的深度域适应方法的全面概述，分类不同的深度域适应情景，总结了深度域适应方法，重点分析比较了各种情况下的最先进方法，并着重强调了当前方法的潜在缺陷和未来几个方向。

Feb, 2018

自主学习视觉 Transformer 用于领域泛化

本文探讨使用自我蒸馏方法解决视觉 Transformer 在领域泛化问题上的过拟合问题，并在五个具有挑战性的数据集上实现了显著的性能提升，同时表现出了对最新领域泛化方法的优异性。

Jul, 2022

图像分类任务中视觉 Transformer 的全面研究

综述了关于视觉变换器用于图像分类的现有研究，包括图像分类数据集，视觉变换器模型的发展历程和未来研究机会。

Dec, 2023

Vision Transformers 对抗样本的鲁棒性

本文研究了 Vision Transformers 在对抗性样本方面的鲁棒性，分析了其与 CNNs 在攻击和安全方面的不同，并提出了一个简单的混合防御方案以提高鲁棒性和准确性。

Mar, 2021

探究视觉 Transformer 在分布偏移下的泛化能力

本文系统研究了 Vision Transformers 在分布偏移情况下的泛化问题，发现其在背景和纹理上学习的偏差较弱，而对形状和结构的归纳偏差较强，因此在分布偏移情况下，相对于卷积神经网络，具有更好的泛化性能，且使用相同数量的参数，其在大多数类型的分布偏移下，比相应的 CNN 模型高出 5% 以上的准确度。此外，作者还进一步提出了增强泛化性能的 GE-ViTs，其对超参数的敏感度高于相应的 CNN 模型，因此设计了更平滑的学习策略以优化 GE-ViTs 的性能。

Jun, 2021

针对隐私保护视觉转换器的高效微调与领域自适应

提出了一种用于视觉变换器（ViT）的隐私保护深度神经网络（DNN）的新方法，该方法允许我们不仅训练模型和使用视觉受保护的图像进行测试，而且还能避免使用加密图像导致的性能下降，而传统方法无法避免图像加密的影响。通过领域适应方法，高效地对使用加密图像的 ViT 进行微调。实验证明，该方法在 CIFAR-10 和 ImageNet 数据集的图像分类任务中，在分类准确度方面优于传统方法。

Jan, 2024