ICLRMar, 2018

局部内在维度对特征对抗样本子空间描述的限制

PDF
TL;DR本文研究了使用局部内在维数来刻画深度神经网络对抗性样本的子空间，针对存在的局限性作了实验验证，结果表明 LID 能力有限。
adversarial examplesneural networkslocal intrinsic dimensionalitymnistcifar-10
发现论文，激发创造
  • 使用本地内在维度来表征对抗子空间

    本文旨在通过对深度神经网络和其对抗样本的研究，提出并利用局部内部维度 (Local Intrinsic Dimensionality，简称 LID) 给出对抗样本的特征维度描述，并且实验结果表明在五种攻击策略和三项基准数据集上，相较于多种当前主流的检测措施，该方法能够更加准确地区分出对抗样本。

    Jan, 2018

  • 数据复杂性的几何视角：基于扩散模型的高效局部内部维度估计

    基于扩散模型的 Fokker-Planck 方程提供了一种解决现有方法缺陷的局部内在维度估计器 FLIPD，它兼容于各种流行的深度生成模型，并在局部内在维度估计基准测试中优于现有基线模型。

    Jun, 2024

  • 使用交叉本地内在维度评估 GAN 的质量

    本文提出了一种基于 GAN 模型学习的数据空间的内在维度特征来评估 GAN 生成数据能力的方法，同时提出了一种新的评估度量 CrossLID，并通过在 4 个基准图像数据集上的实验表明，与其他现有的评价指标相比，CrossLID 更加敏锐，并且可以用于改善 GAN 的生成质量。

    May, 2019

  • 利用本地固有维度检测深度扩散模型生成的图像

    本文提出了使用轻量级多本地内在维度 (multiLID) 技术，在对抗性生成数据检测的基础上，进行合成图像自动检测和相应生成器网络的识别的方法，该方法与现有检测方法相比，在许多现实用例中提供接近完美的检测结果，并证明在扩展性、检测性能和模型鲁棒性等方面的表现优越性。

    Jul, 2023

  • 基于数据表示的分布特征检测文本对抗攻击样本

    本文提出两种反应式方法来检测 NLP 中的文字对抗样本，使用分布特征学习表示的 LID 和 MDRE 方法取得了 IMDB 和 MultiNLI 数据集上字符级、词级、短语级攻击领域的最新成果。

    Apr, 2022

  • 潜在魔法：对语义潜空间中制造的对抗样本的调查

    本文提出了一种利用变分自编码器来生成语义潜空间中的对抗样本的方法，并通过提出一个新的评估指标来解决评估挑战。同时研究了潜空间中的对抗样本与像素空间中对抗样本的可转移性，并证明了前者优于后者。

    May, 2023

  • 子空间防御：通过学习纯净信号的子空间来排除对抗性扰动

    通过谱分析来检查样本特征的子空间，我们首先从实证角度表明干净信号或对抗扰动的特征分别是冗余的，而且在低维线性子空间中重叠较少，并且经典的低维子空间投影可以将扰动特征压缩到干净信号的子空间之外，从而使得深度神经网络可以学习一个只包含干净信号特征的子空间，抛弃扰动特征，从而能够区分对抗性样本。为了防止子空间学习中不可避免的残余扰动，我们提出一种独立性准则来区分干净信号和扰动。实验结果表明，所提出的策略能够本质上抑制对抗者，不仅提高了模型的鲁棒性，而且还给出了有效对抗防御的新方向。

    Mar, 2024

  • NAS-LID：具有本地固有维度的高效神经架构搜索

    本文提出了一种基于局部内在维度的神经架构搜索方法 NAS-LID，有效地降低了异构子网络优化中性能排名的相关性干扰，实现了更高效的神经架构搜索。

    Nov, 2022

  • 关于对抗样本的学习表示和影响函数的启示

    通过邻近邻居和影响函数以及马氏距离两种方法，将图像处理中的对抗样本检测方法应用到 NLP 中，发现前者在多个强基线上与最新技术相比具有领先性能，同时，新颖的影响函数的使用揭示了 NLP 中对抗性样本的子空间性质与图像处理中的子空间性质的联系，以及它们在不同类型的 NLP 任务中的差异。

    Sep, 2023

  • 通过激活函数的内在维度将正则化和泛化联系起来

    本文研究了模型的内在维度对其泛化能力的影响，通过对验证集和训练集的表现进行分析，提出了通用的规则以改善在一个模型内提取特征数据时可能遇到的问题。

    Nov, 2022