本文介绍我们在创建高质量的、针对任务 1 的机器阅读理解数据的过程中的经验，并描述了我们基于不同专题的定量定性分析结果以及与注释员信心的相关性，最后我们提出了相关建议。

Jun, 2022

使用动态对抗数据采集（DADC）能够不断地生成具有挑战性的例子，获得更多的训练样本，可提高模型泛化能力，同时减少模型的错误率。我们进行了长期的 DADC 研究，并使用对抗性和非对抗性方法收集了 20 个 NLI 示例，该方法训练的模型在我们的测试集上减少了 26％的错误率。

Oct, 2021

为了理解大型语言模型对敌对问题生成过程的影响，我们使用语言模型和检索模型丰富写作指导，提出新的衡量指标和激励机制，以提出好的、具有挑战性的问题，并展示了一个新的敌对问题数据集。

Jan, 2024

本文通过对问答模型进行大规模对比研究，发现对抗训练对提升模型在对抗数据集上的表现有帮助，但在领域外数据集上却不够稳健；同时，文章进行了对抗数据和标准数据的质量比较，为未来的研究提供指导。

Jun, 2021

通过对斯坦福问答数据集（SQuAD）的对抗评估方案，测试阅读理解系统对插入的语义、语法错误的诈骗问题的正确性，从而提高模型对于语言的理解水平。

Jul, 2017

在这项研究中，我们将对抗性攻击结果视为模型的一个新（未见过的）领域，并将防御问题转化为如何提高模型在这个新领域的鲁棒性。我们关注会话蕴含任务，其中多轮自然语言对话是前提，通过对变换模型进行微调以预测给定对话的假设是真还是假。我们采用同义词交换作为攻击方法，并实施了一些微调策略，并提出了嵌入扰动损失作为提高模型鲁棒性的方法。最后，通过讨论自然语言处理中现实世界的对抗攻击，展示了我们工作的重要性。

May, 2024

本文提出一种使用合成对抗数据生成的方法来提高问题回答模型对人工对手的鲁棒性。通过将合成数据引入训练，成功地将对人工对手的鲁棒性提高了大约一倍。

Apr, 2021

通过通过人类作者的参与识别并铸造对抗性问题，我们揭示了机器学习模型在自然语言理解上面临的复杂多样化挑战，包括多跳推理和实体类型干扰。

Sep, 2018

探索对抗训练方法以学习领域不变特征，从而使语言模型可以对域外数据集进行良好的推广。我们还审查了各种其他方法来提高我们的模型性能，包括通过改写句子实现数据增强、将回答跨度预测的结尾词映射到开始词上以及精心设计的退火函数。我们的初步结果表明，在结合这些方法的情况下，与基线相比，在域外验证数据集上我们能够实现 EM 分数 15.2% 的提高和 F1 分数 5.6% 的提高。

Jun, 2022

我们介绍和研究对抗性算术问题，它为语言模型对齐提供了一个简单但具有挑战性的测试平台。我们提出了一种由自然语言组成的算术问题，其中在问题未完整时插入了一个任意的对抗字符串。即使在 1 位数加法问题的简单设置中，很容易找到能使所有测试模型（包括 PaLM2、GPT4、Claude2）表现不良甚至导致模型给出特定错误答案的对抗提示。我们还提供了一种通过查询这些模型来找到成功攻击的简单算法，称为 “提示反转拒绝抽样”（PIRS）。最后，我们展示了可以通过强化学习和自主性宪法循环部分地加固模型对抗这些攻击的能力。然而，我们无法使语言模型完全抵御对抗性算术攻击。

Nov, 2023