微调接种：一种分析挑战数据集的方法

ACLApr, 2019

微调接种：一种分析挑战数据集的方法

Inoculation by Fine-Tuning: A Method for Analyzing Challenge Datasets

Nelson F. Liu, Roy Schwartz, Noah A. Smith

TL;DR本文介绍了一种新的分析方法，即通过微调接种的方法研究挑战数据集，应用于 NLI “压力测试” 和 Adversarial SQuAD 数据集，结果表明，挑战数据集的失败可能会导致关于模型，训练数据集和挑战数据集本身的完全不同的结论。

Abstract

Several datasets have recently been constructed to expose brittleness in models trained on existing benchmarks. While model performance on these challenge datasets is significantly lower compared to the original

challenge datasets inoculation by fine-tuning nli stress tests adversarial squad dataset model performance

发现论文，激发创造

通过对抗数据集中控制方差分析泛化能力的多样化数据集

本文提出将现象特定的 “对抗” 数据集用于训练 NLI 和其他类型的模型，表明了原始训练数据中的 “盲区”，并演示了用两个推理现象对该方法进行扩展来推动模型学习和推广目标现象的能力，从而建立更好的挑战数据集以创建更强大且更具鲁棒性的模型。

Oct, 2019

多集合免疫接种：跨多个挑战集评估模型的稳健性

探讨语言模型对输入扰动的敏感性以及通过不同训练策略来提高模型性能和鲁棒性的方法，通过在 Tabular-NLI 任务中的实例验证了该模型可对抗不同的扰动而不降低准确性。

Nov, 2023

数据微调

该研究提出了数据微调概念，通过将其建模为数据（图像）扰动问题，不改变模型参数，为实现对给定模型的分类准确性改进。实验表明，该概念在三个公开数据集上得到了有效的检验。

Dec, 2018

模仿用户数据：关于减轻封闭式大型语言模型的微调风险

在小而高质量的数据集上对大型语言模型进行微调可以增强其在特定下游任务上的性能，我们的研究探讨了在不同任务特定数据上进行微调时存在的安全风险，并提出了一种新的缓解策略，该策略在维持相似任务性能的同时，更有效地重新建立安全对齐。

Jun, 2024

使用地图接种提高问题回答模型性能

QA 模型在解决复杂的和开放性的情境推理问题时，可以通过利用训练数据中的特定模式学习高性能解决方案，但这些模式降低了模型推广到真实世界 QA 问题的能力。通过对 QA 模型进行对抗性挑战测试，我们分析了数据集特征对模型的影响和发生。在已有的减轻数据集特征影响方法的基础上，我们提出了一种名为 “地图疫苗接种” 的新方法，通过在优化的挑战数据子集上微调模型，减少模型对数据集特征的依赖。我们展示了通过有选择地在挑战测试中的模棱两可的对抗性例子上微调模型，可以在整个挑战数据集上取得显著的性能改进，并且对其他具有挑战性的环境和 QA 数据集的模型泛化能力损失最小。

Jan, 2024

免疫有害微调攻击

通过提出 “免疫条件” 作为对抗有害微调攻击的一种形式框架，并实验性地使用对抗性损失示范对 LLama2-7b-chat 进行免疫，我们综合了不同的研究方向，以预防有害微调攻击。

Feb, 2024

大型语言模型上的用户推理攻击

研究表明，通过对用户数据进行细调的大型语言模型（LLMs）存在用户推测攻击的隐私风险，攻击者可以通过仅需少量用户样本和黑盒访问细调后的 LLMs 来推断用户的数据是否被用于细调，通过限制单个用户的细调样本数量可以减少攻击效果，但也会降低细调数据总量。

Oct, 2023

自然对抗样本

使用对抗性过滤技术构建了两个具有挑战性的数据集，分别是 ImageNet-A 和 ImageNet-O，这两个数据集的出现使得计算机视觉模型的性能大幅下降，而现有的数据增强技术和公共训练数据集的使用带来的改进有限。

Jul, 2019

测量对抗数据集

在广泛应用于各个领域的 AI 系统的时代，确保对抗性鲁棒性变得越来越重要，以维护安全性并防止不可取的错误。本研究对描述 NLP 任务中文本实例的现有可量化指标进行了系统调查，并选择了几个当前的对抗效应数据集，比较了原始数据与对抗样本之间的分布差异，研究结果揭示了这些数据集在度量角度上更具挑战性的原因及其与基本假设的一致性。

Nov, 2023

指令作为后门：大型语言模型指令调整的后门漏洞

训练指导调谐模型的众包数据集存在安全隐患，攻击者可通过少量恶意指令注入后门来控制模型行为，导致持久性后门并在多个数据集中实现 90％的攻击成功率，同时需要更加强大的防御措施来应对数据污染攻击，并重视指导众包中数据的质量。

May, 2023