通过对 AI 工业界最近的红队活动案例和相关研究文献的调查，我们发现先前的 AI 红队方法和实践在多个方面存在差异，包括活动目的、评估对象、实施方式和所得出的决策。鉴于我们的发现，我们认为虽然红队可能是一个有价值的广义概念，用于描述一系列旨在改善 Generative AI 模型行为的活动和态度，但宣称红队是解决一切可能风险的万灵药则属于安全戏剧。为了更好地评估生成 AI，我们将我们的建议综合成一个问题库，旨在指导和规范未来的 AI 红队实践。

Jan, 2024

使用红队技术，在基于语言模型的聊天机器人中生成测试用例以检测有害行为，并训练分类器检测模型产生的攻击性内容，从而发现数万条攻击性回复。这是一种在影响用户之前找到和修复各种不良行为的工具。

Feb, 2022

生成模型和红队的攻击策略研究与语言模型的功能能力密切相关，调查还涉及到多模式攻击等新领域，希望这个调查能够为研究领域提供系统的视角并开启新的研究领域。

Mar, 2024

本研究基于高水平、抽象的不良行为规范，通过三步，即探索模型的行为、建立不良行为的衡量标准、利用该标准和既定的红队方法来利用模型缺陷，从而针对 GPT-2 和 GPT-3 模型进行红队演练，发现可激发有毒或不诚实言论的提示，同时构建并发布包含 20,000 条声明的 CommonClaim 数据集。

Jun, 2023

近期生成人工智能在协作工作流程中的应用取得了重大进展，对团队绩效的影响仍未被充分探索。本研究通过一项随机对照实验，在 122 支团队的 435 名参与者中研究了生成人工智能在增强或取代传统团队动态中的作用。研究结果表明，在各种绩效指标上，增加生成人工智能的团队显著优于仅依赖人类协作的团队。有趣的是，采用多个人工智能的团队并未表现出进一步的增益，暗示了集成人工智能的效果递减。我们的分析表明，由少数团队成员进行集中使用的人工智能比分布式参与更为有效。此外，个体 - 人工智能配对的表现与传统团队相当，说明在某些情境下，传统团队结构的需求减少了。然而，尽管有这种能力，个体 - 人工智能配对的表现仍不及人工智能辅助团队的水平。这些发现强调，生成人工智能可以取代一些传统团队功能，但更全面地将人工智能整合到团队结构中可以提供更优越的效益，提升整体效能而不仅仅依赖个人努力。

May, 2024

生成式人工智能技术（GenAI）可能被用于积极和消极目的，这篇论文讨论了 GenAI 所带来的双重用途困境，并提出了针对此问题的短期和长期目标，旨在引发学术界对此重要主题的深入讨论。

Aug, 2023

基于梯度的红队技术（GBRT）是一种自动生成多样的提示，很可能导致语言模型输出不安全回应的红队技术方法。通过将 LM 回应与安全分类器进行评分并通过冻结的安全分类器和 LM 进行反向传播来更新提示，我们训练了 GBRT。为了提高输入提示的连贯性，我们引入了两个变体，即添加现实损失和微调预训练模型以生成提示，而不是直接学习提示。实验结果表明，与强化学习为基础的红队技术方法相比，GBRT 在找到触发语言模型生成不安全回应的提示方面更为有效，即使该 LM 已被微调以生成更安全的输出。

Jan, 2024

用于量化 LLMs 的多样化攻击策略和优化方法，并通过构建红队和蓝队语言模型之间的对抗游戏理论基础，提出一种无需人工标注的红队技术，有效提升了大型语言模型的安全性。

Sep, 2023

评估不同提示技术对解答质量的影响，通过红组合作将 LLMs 在基础计算和代数任务上进行测试。结果发现，尽管结构化推理和提供解题示例可以减缓解答质量的恶化，但 gpt-3.5-turbo 和 gpt-4 模型在基础计算和推理任务上表现不佳，即使在红组合作的情况下。

Dec, 2023

该研究探讨了以前方法的局限性，并介绍了一种新的解决方案：一种名为简单的门控毒性规避技术（GTA）可以应用于任何可控文本生成方法，通过与最先进的可控文本生成方法在各个数据集上进行比较，研究发现，门控毒性规避技术有效地实现了与原始可控文本生成方法相当的毒性减少水平，同时保留了语言模型的生成性能。

Dec, 2023