ICMLJun, 2020

揭示对抗可迁移性与知识可迁移性之间的关联

PDF
TL;DR本文分析传递学习（knowledge transferability）与对抗可迁移性（adversarial transferability）之间的相互作用，并提出两种实用的对抗可迁移性度量，通过广泛的实验证明了对抗可迁移性与知识可迁移性之间的正相关性，为未来有效的知识转移学习和对抗迁移性分析提供了启示。
knowledge transferabilitytransfer learningadversarial transferabilitypre-trained modeldownstream tasks
发现论文，激发创造
  • 深度神经网络中对抗性样本的可迁移性调查

    深度神经网络的关键问题之一是对抗性攻击和转移性，考虑到安全性和未来的发展，需要加强对抗性漏洞的防御。

    Oct, 2023

  • 生成可传递对抗样本的常识学习

    本文研究黑盒攻击的一种重要类型 —— 基于转移的对抗攻击，并提出了一种通用知识学习框架，通过构建多教师框架来减少模型特定特征，获得更好的输出分布，加强对抗转移性能，同时通过对学生和教师模型之间的梯度施加约束来进一步缓解输出不一致问题和增强对抗转移性能。实验表明，所提出的方法可以显著提高对抗转移性能。

    Jul, 2023

  • 探究可转移的对抗样本和黑盒攻击

    本文首次对大规模数据集和大型模型进行了对抗样本的可迁移性的研究，同时也是首次研究了设计有目标的对抗样本在其目标标签之间的可转移性。通过新颖的集成方法，本文发现大量有目标的对抗样本可以成功地与其目标标签一起转移，并且这些使用集成方法生成的对抗样本可以成功地攻击黑匣子图像分类系统 Clarifai.com。

    Nov, 2016

  • 通过更好的表示实现对抗训练有助于迁移学习

    本研究旨在研究迁移学习中使用对抗性训练和半监督学习对数据表示生成的影响，结果表明这两种方法可以生成更好的表示，并能够互补地提高迁移性能。

    Jun, 2021

  • 理解和提升对抗样本的可迁移性

    本文系统研究了影响对抗样本传递性的两类因素，包括网络结构、测试精度等模型特定因素和构建对抗样本的损失函数的局部光滑性。基于这些理解，提出了一种简单而有效的策略来增强传递性，称为方差降低攻击，因为它利用方差降低梯度来生成对抗样本，实验结果表明其有效性。

    Feb, 2018

  • 可转移对抗样本的空间

    本文提出测量对抗样本空间维度的新方法，发现对抗性子空间在很大的维度上相互重叠并且共享在不同模型之间，通过探究模型决策边界的相似性和转移攻击的局限性，本文表明可能存在抵抗传输攻击的防御方法。

    Apr, 2017

  • 统一方法解释与增强对抗性转移

    通过对抗扰动内部的交互作用来解释和提高对抗性可传递性，并发现和证明了对抗性可传递性与对抗扰动内部交互作用之间的负相关关系。

    Oct, 2020

  • 可转移对抗攻击的基准评估

    本研究首次详细审查了对抗性攻击的可转移性方面，系统地分类和评估了各种用于增强对抗性攻击可转移性的方法学。同时，本文引入了一个基准框架 TAA-Bench，集成了十种领先的对抗性攻击可转移性方法，为跨不同模型结构的比较分析提供了一种标准化和系统化的平台。通过全面审查，我们描述了每种方法的有效性和限制，并揭示了它们的操作原理和实际效用，旨在成为该领域学者和实践者的基本资源，为对抗性可转移性的复杂领域绘制地图并为未来的探索奠定基础。

    Feb, 2024

  • 机器学习中的可迁移性：从现象到黑盒攻击利用对抗样本

    对机器学习模型的黑盒攻击是可能的，即使它们的结构不同。通过生成对抗性样本，并利用受害者模型标记合成训练集，攻击者可以训练出自己的替代模型，并将对抗性样本转移到受害者模型中实施攻击，该方法可以使用新的技术使攻击过程更加有效率，在 Amazon 和 Google 等公司的商业机器学习分类系统中展示了攻击的有效性。

    May, 2016

  • 对抗训练的深度神经网络转移更佳：以图像分类为例

    本文通过研究发现，针对新领域的迁移学习中，对于只有有限数据的情况下，通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时，对抗训练可以使学习到的表示偏向于保留形状而不是纹理，这影响了源模型的可迁移性，并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息，这至少部分解释了为什么对抗训练模型更实用。

    Jul, 2020