DALA：一种基于分布感知的 LoRA 方法对抗预训练语言模型

Nov, 2023

DALA：一种基于分布感知的 LoRA 方法对抗预训练语言模型

DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Pre-trained Language Models

Yibo Wang, Xiangjue Dong, James Caverlee, Philip S. Yu

TL;DR通过考虑对抗样本的分布变化以提高检测方法下的攻击效果，我们提出了一种分布感知的 DALA 对抗攻击方法，并设计了一个评价指标 NASR，结合 ASR 和检测，验证 DALA 生成的对抗样本在 BERT 和 LLaMA2-7b 模型上的攻击效果。

Abstract

pre-trained language models (PLMs) that achieve success in applications are susceptible to adversarial attack methods that are capable of generating adversarial examples with minor perturbations. Although recent

pre-trained language models adversarial attack methods data distribution detection methods attack effectiveness

发现论文，激发创造

L-AutoDA: 利用大型语言模型进行自动化的基于决策的对抗攻击

在机器学习快速发展的领域中，对抗性攻击对模型的稳健性和安全性构成了重大挑战。本研究引入了 L-AutoDA（基于大型语言模型的自动化决策攻击），这是一种新颖的方法，利用大型语言模型的生成能力来自动设计这些攻击。通过与大型语言模型在进化框架中的迭代交互，L-AutoDA 能够高效地自动设计具有竞争力的攻击算法，减少了人力成本。我们在 CIFAR-10 数据集上展示了 L-AutoDA 的有效性，表现出较基准方法在成功率和计算效率方面的显著提升。我们的发现突显了语言模型作为对抗性攻击生成工具的潜力，并为开发稳健的人工智能系统提供了新的途径。

Jan, 2024

DTA: 基于分布变换的受查询限制场景攻击

该论文通过利用对抗示例的分布特征，以困难标签黑盒设置下的条件似然函数为依据建立统计映射，从而提出了一种基于分布变换的攻击方法（DTA），该方法可以无需频繁查询目标模型，直接且高效地生成一批对抗示例，用于攻击未知模型。实验验证了该方法的有效性和优越性。

Dec, 2023

通过局部和全局潜在分布提高模型的鲁棒性

通过全局流形的视角考虑深度神经网络对抗攻击的模型鲁棒性问题，提出了一种新的对抗训练方法 ATLD，该方法在不受监督的情况下，利用了本地和全局潜在信息，通过对抗游戏生成潜在流形对抗性实例，保留了流形的局部和全局信息，具有良好的鲁棒性，实验结果表明该方法在多个数据集上显著优于现有技术。

Jul, 2021

鲁棒性竞赛：利用不稳定模型进行城市伪装以及机器学习安全的要求

本文提出了分布式敌对区域 (DAR) 这一新颖的方法，用于实现基于计算机视觉的 AML 攻击方法的分布式实例，并将其用于城市环境中的目标检测模型，与其他 AML 方法进行比较，并将其放在新的背景下 - 城市伪装与 ML 安全以及模型的鲁棒性的必要性。

Jun, 2023

生成具有有效性和自然性的大型语言模型对抗样本

基于大型语言模型 (LLMs) 的语言理解和生成能力，我们提出了 LLM-Attack，旨在使用 LLMs 生成既有效又自然的对抗性示例。实验结果表明 LLM-Attack 比基线模型在人类和 GPT-4 评估中表现优异，能够生成通常有效、自然，并保留语义意义、语法正确性和人类不可察觉性的对抗性示例。

Nov, 2023

AdvLoRA: 视觉 - 语言模型的对抗低秩适应

通过大量实验，我们展示了传统的视觉 - 语言模型（VLMs）所采用的常规适应方法的脆弱性，这可能带来重大的安全风险。此外，随着 VLMs 规模的增加，对 VLMs 进行传统的对抗性适应技术会带来高计算成本。为了解决这些问题，我们提出了一种名为 AdvLoRA 的参数高效对抗性适应方法，通过低秩适应进行了改进，设计了一种基于参数聚类和参数对齐的新型重新参数化方法，进一步提高了鲁棒性，解决了模型安全性和资源浪费问题。通过大量实验证明了 AdvLoRA 的有效性和高效性。

Apr, 2024

上下文感知对命名实体识别的对抗攻击

我们提出了一种上下文感知对抗攻击方法，通过扰乱识别实体最具信息量的词语来生成自然而可信的对抗样本，实验证明我们的方法在误导模型做出错误预测方面比基准方法更有效。

Sep, 2023

通过伪装和重构在少量查询中解封大型语言模型的方法

通过识别安全微调中的偏差漏洞并设计一种称为 DRA（伪装和重构攻击）的黑盒越狱方法，我们在 LLMs 安全方面开创了理论基础。我们评估了 DRA 在各种开源和闭源模型上的效果，并展示了最先进的越狱成功率和攻击效率，特别是在 LLM 聊天机器人 GPT-4 上，DRA 拥有 90％的攻击成功率。

Feb, 2024

预训练语言模型的对抗攻击建模为序列决策

本文通过将 PLMs 的对抗攻击任务形式化为一个序列决策问题，并采用强化学习方法找到适当的攻击路径，提出了 SDM-Attack，其在攻击成功率，修改率和语义相似性上都表现出色，并且分析验证了其通用性和可转移性。

May, 2023

基于数据表示的分布特征检测文本对抗攻击样本

本文提出两种反应式方法来检测 NLP 中的文字对抗样本，使用分布特征学习表示的 LID 和 MDRE 方法取得了 IMDB 和 MultiNLI 数据集上字符级、词级、短语级攻击领域的最新成果。

Apr, 2022