针对隐私保护视觉转换器的高效微调与领域自适应

Jan, 2024

针对隐私保护视觉转换器的高效微调与领域自适应

Efficient Fine-Tuning with Domain Adaptation for Privacy-Preserving Vision Transformer

Teru Nagamori, Sayaka Shiota, Hitoshi Kiya

TL;DR提出了一种用于视觉变换器（ViT）的隐私保护深度神经网络（DNN）的新方法，该方法允许我们不仅训练模型和使用视觉受保护的图像进行测试，而且还能避免使用加密图像导致的性能下降，而传统方法无法避免图像加密的影响。通过领域适应方法，高效地对使用加密图像的 ViT 进行微调。实验证明，该方法在 CIFAR-10 和 ImageNet 数据集的图像分类任务中，在分类准确度方面优于传统方法。

Abstract

We propose a novel method for privacy-preserving deep neural networks (DNNs) with the vision transformer (ViT). The method allows us not o

privacy-preserving deep neural networks vision transformer image encryption classification accuracy

发现论文，激发创造

加密图像下高效微调视觉转换模型的领域适应

我们提出了一种使用视觉变换器 (ViT) 对转换图像进行模型微调的新方法，该转换图像域自适应方法不会导致模型准确度下降，基于 ViT 的嵌入结构进行实施，实验证实了该方法在使用 CIFAR-10 和 CIFAR-100 数据集的加密图像时仍能防止准确度下降。

Sep, 2023

自适应 Transformers 用于稳健的少样本跨域人脸防伪

本文提出一种自适应视觉变换器 (ViT) 方法，利用集成适配器模块和特征转换层适应不同域的数据，从而实现跨域活体检测，并在多个基准数据集上取得了与现有方法相媲美的性能.

Mar, 2022

基于视觉转换器的对抗领域自适应

无监督领域自适应方法已取得了最新的优秀成果，并大多数使用了卷积神经网络作为特征提取器，然而视觉转换器虽已被广泛应用于计算机视觉任务，却未在对抗性领域自适应中研究过，本文填补了这一空白，并证明视觉转换器可直接应用于现有的对抗性领域自适应方法，以提升性能。

Apr, 2024

使用加密视觉转换器模型的随机集合增强对抗样本的安全性

本文中，我们提出了一种随机集成的加密视觉转换模型，以实现更加强健的模型，这种模型不仅对黑盒攻击更加强健，而且对白盒攻击也更加强健。

Jul, 2023

随机加密视觉转换器的敌对鲁棒防御的集成

使用视觉变换器 (ViT) 的加密模型的随机集合，提出了一种增强对白盒和黑盒攻击鲁棒性的新方法，在 CIFAR-10 和 ImageNet 数据集的图像分类任务中，该方法不仅对抗白盒攻击，而且对抗黑盒攻击，并在 RobustBench 标准基准中验证了其在干净准确性和鲁棒准确性方面优于传统防御。

Feb, 2024

TVT：基于视觉 Transformer 的无监督域自适应模型

本研究提出了一种名为 “可传递视觉 Transformer” 的统一框架，其中融合了迁移学习、注意力机制和聚类方法，以实现基于标签源域的无标签目标域的知识迁移。实验证明，本文所提出的 TVT 方法优于现有的微调和迁移学习方法，通过注入可学习的传递性适应模块来强制 ViT 集中注意力在可转移和辨别性特征上，并借助判别性聚类来增强特征多样性和分离度。

Aug, 2021

深度基础潜空间内的无监督领域自适应

这篇研究论文分析了基于视觉 Transformer 的基础模型（如 ViT 或 Dino-V2）在无需精调特征的情况下解决问题的能力，通过对原型网络设置的实验，定量分析以及对决策过程的定性解释，我们展示了所提出的方法在无监督领域适应中的应用，并改进了现有基准模型，同时也揭示了该方法尚待解决的限制。

Feb, 2024

增强对抗样本鲁棒性的随机加密模型集合

本文提出了一种随机集成加密 ViT 模型的方法，该方法对于黑盒攻击和白盒攻击都比传统方法更具鲁棒性。

Jan, 2024

利用视觉变换器改善无源目标适应性，以削弱域表示图像

该研究以无监督域自适应为主题，探索了如何利用关键元素来强化 Vision Transformers 在无源目标适应中的性能，通过引入域表示图像（DRIs）作为关键组件，提高了 Transformer 在领域泛化中的效率。

Nov, 2023

自主学习视觉 Transformer 用于领域泛化

本文探讨使用自我蒸馏方法解决视觉 Transformer 在领域泛化问题上的过拟合问题，并在五个具有挑战性的数据集上实现了显著的性能提升，同时表现出了对最新领域泛化方法的优异性。

Jul, 2022