生物医学问题回答中敌对实体的零样本采样

Feb, 2024

生物医学问题回答中敌对实体的零样本采样

Zero-shot sampling of adversarial entities in biomedical question answering

R. Patrick Xian, Alex J. Lee, Vincent Wang, Qiming Cui, Russell Ro...

TL;DR基于参数化领域知识和对抗性样本的研究，通过在嵌入空间中进行权值抽样发现了多种对抗实体作为干扰因素，并证明了它在生物医学问题上对抗问答中相对于随机抽样的优势，同时揭示了对抗性实体在特征上明显不同的两个区域，且攻击成功地操纵了基于令牌的 Shapley 值解释，在对抗性环境中具有欺骗性。这些调查说明了 LLMs 领域知识的脆弱性，同时揭示了高容量模型标准评估的不足。

Abstract

The increasing depth of parametric domain knowledge in large language models (LLMs) is fueling their rapid deployment in real-world applications. In high-stakes and knowledge-intensive tasks, understanding model vulnerabilities is essential for quantifying the trustworthiness of model

parametric domain knowledge adversarial examples embedding space adversarial question answering token-wise shapley value explanations

发现论文，激发创造

上下文感知对命名实体识别的对抗攻击

我们提出了一种上下文感知对抗攻击方法，通过扰乱识别实体最具信息量的词语来生成自然而可信的对抗样本，实验证明我们的方法在误导模型做出错误预测方面比基准方法更有效。

Sep, 2023

针对生物医学自然语言处理任务的对抗性样本

本文介绍了在医疗领域中使用模型的预训练词嵌入的成功，讨论了 BERT 语言模型在核心领域中的效果，并提出了三种不同的对抗策略并评估模型性能，结果发现模型效果被显著降低，通过使用对抗性样本可以显著提高模型性能和鲁棒性的实验，并希望该实验能够激励更多对具备更强鲁棒性的模型的投入和评估。

Apr, 2020

医学中大型语言模型的对抗攻击

大型语言模型（LLMs）在医疗应用中的整合为医学诊断、治疗建议和患者护理方面的进步提供了有希望的前景，然而，LLMs 对敌对攻击的易受攻击性构成了重大威胁，可能导致敏感医疗环境中的不良结果。本研究调查了 LLMs 在三个医学任务中面临的两种类型的敌对攻击的易受攻击性。利用真实的患者数据，我们证明了开源和专有的 LLMs 在多个任务中容易受到操纵。这项研究进一步揭示了针对特定领域任务的模型微调需要更多的敌对数据以实施有效的攻击，特别是对于更强大的模型而言。我们发现，虽然整合了敌对数据不会明显降低医学基准测试中的整体模型性能，但它确实会导致微调模型权重的明显变化，这表明检测和对抗模型攻击的潜在途径。这项研究强调了在医疗应用中确保 LLMs 安全有效部署的迫切需求，需要健全的安全措施和防御机制来保护 LLMs。

Jun, 2024

生成具有有效性和自然性的大型语言模型对抗样本

基于大型语言模型 (LLMs) 的语言理解和生成能力，我们提出了 LLM-Attack，旨在使用 LLMs 生成既有效又自然的对抗性示例。实验结果表明 LLM-Attack 比基线模型在人类和 GPT-4 评估中表现优异，能够生成通常有效、自然，并保留语义意义、语法正确性和人类不可察觉性的对抗性示例。

Nov, 2023

无处不在的大型语言模型对动态对抗性问题生成的阻碍和加速

为了理解大型语言模型对敌对问题生成过程的影响，我们使用语言模型和检索模型丰富写作指导，提出新的衡量指标和激励机制，以提出好的、具有挑战性的问题，并展示了一个新的敌对问题数据集。

Jan, 2024

利用实体感知屏蔽策略提高低资源生物医学问答性能

本文提出了一种称为生物医学实体感知蒙版 (BEM) 的简单方法，以帮助受限于特定领域及其 COVID-19 文献的预训练语言模型进行微调，从而提升其生物医学问答数据集的性能。实验证明，该方法与先进模型具有相同的性能。

Feb, 2021

通过敌对攻击实现抗 LLM 的数学问题生成

在教育领域中，大型语言模型 (LLMs) 的快速发展给当前的剽窃检测工具带来了挑战，本文通过生成拟保持原问题的结构和难度但无法由 LLMs 解决的对抗性示例，来探索确保公平评估的新范式，通过在数学应用问题领域利用抽象语法树生成对抗性实例，改变问题中的数值使 LLMs 产生错误的答案，定量和定性实验证明我们的方法显著降低了 LLMs 的数学解题能力，并对 LLMs 共同的漏洞进行了识别，提出了一种高效率攻击高成本模型的方法，此外，我们还通过自动分析数学问题的失败原因，指导后续对 LLMs 数学能力的研究。

Feb, 2024

会话蕴含任务的对抗攻击与防御

在这项研究中，我们将对抗性攻击结果视为模型的一个新（未见过的）领域，并将防御问题转化为如何提高模型在这个新领域的鲁棒性。我们关注会话蕴含任务，其中多轮自然语言对话是前提，通过对变换模型进行微调以预测给定对话的假设是真还是假。我们采用同义词交换作为攻击方法，并实施了一些微调策略，并提出了嵌入扰动损失作为提高模型鲁棒性的方法。最后，通过讨论自然语言处理中现实世界的对抗攻击，展示了我们工作的重要性。

May, 2024

大型语言模型中的对抗攻击与防御：旧与新的威胁

过去十年来，人们对神经网络的鲁棒性进行了广泛的研究，但这个问题依然没有得到很好的解决。在这篇论文中，我们提出了改进新方法的鲁棒性评估和减少错误评估的第一组先决条件，同时指出了面向开源模型中恶意内容生成的嵌入空间攻击作为另一个可行的威胁模型。最后，我们通过一个最近提出的防御方法进行演示，展示了在没有针对大型语言模型的最佳实践的情况下，过高估计新方法的鲁棒性的容易性。

Oct, 2023

BiasKG: 用对抗知识图谱在大型语言模型中引入偏见

现代大型语言模型拥有丰富的世界知识，可以在正确利用的情况下在常识推理和知识密集型任务方面取得强大的性能。然而，语言模型也能够学习社会偏见，可能对社会造成重大危害。本文提出了一种使用知识图谱增强生成模型的攻击语言模型的新方法，并采用敌对攻击策略诱导多个开源和闭源语言模型产生偏见性回应。我们发现我们的方法增加了所有模型的偏见，即使那些经过安全保护性训练的模型也是如此。这表明在 AI 安全领域需要进一步的研究，以及在这个新的敌对空间中的进一步工作。

May, 2024