本文介绍了对语言模型进行红队测试的早期探索，尝试发现、测量并减少它们可能产生的潜在危害输出。在实验中发现，随着模型规模的扩大，使用人类反馈进行强化学习的模型难以被红队攻击，并提供数据集和方法说明以便进行共同探讨。

Aug, 2022

本研究提出了一种基于项目反应理论的框架来模拟人们对人工智能队友的感知，并使用实验数据测试研究问题，结果表明人们对人工智能代理的性能期望显著高于其他人，并具有更小的问题类型差异。

May, 2023

本研究基于高水平、抽象的不良行为规范，通过三步，即探索模型的行为、建立不良行为的衡量标准、利用该标准和既定的红队方法来利用模型缺陷，从而针对 GPT-2 和 GPT-3 模型进行红队演练，发现可激发有毒或不诚实言论的提示，同时构建并发布包含 20,000 条声明的 CommonClaim 数据集。

Jun, 2023

人工智能与人类团队合作是新的设计范式，需要遵循以人为中心的人工智能(HCAI)方法。本文提出了人工智能与人类联合认知系统(HAIJCS)的概念框架，用于代表并实现人工智能与人类团队合作。

Jul, 2023

人工智能在网络安全领域的潜力以及人工智能与人类合作的风险因素、伦理和法律问题等方面进行了深入探讨，强调了将人类专家的专业知识与人工智能的计算能力相结合以改善网络防御的重要性。

Sep, 2023

通过对AI工业界最近的红队活动案例和相关研究文献的调查，我们发现先前的AI红队方法和实践在多个方面存在差异，包括活动目的、评估对象、实施方式和所得出的决策。鉴于我们的发现，我们认为虽然红队可能是一个有价值的广义概念，用于描述一系列旨在改善Generative AI模型行为的活动和态度，但宣称红队是解决一切可能风险的万灵药则属于安全戏剧。为了更好地评估生成AI，我们将我们的建议综合成一个问题库，旨在指导和规范未来的AI红队实践。

Jan, 2024

自动红队测试对于发现和减轻与大型语言模型（LLMs）恶意使用相关的风险具有重要意义，然而该领域缺乏一个标准化评估框架来严格评估新方法。为解决这个问题，我们引入了HarmBench，一个用于自动化红队测试的标准化评估框架。使用HarmBench，我们对18种红队测试方法和33种目标LLMs和防御进行了大规模比较，得出了新的见解。我们还引入了一种高效的对抗训练方法，极大地增强了LLMs对各种攻击的鲁棒性，展示了HarmBench如何实现攻击和防御的共同发展。我们在该https URL上开源了HarmBench。

Feb, 2024

对生成式人工智能系统进行独立评估和红队测试对于识别风险至关重要，但主要人工智能公司用于阻止模型滥用的服务条款和执法策略对善意安全评估存在不利因素，因此一些研究人员担心进行此类研究或公开发现将导致账户暂停或法律报复。我们提议重要人工智能开发者承诺提供法律和技术的“安全港”，为公共利益的安全研究提供保障，免于账户暂停或法律报复的威胁。我们相信这些承诺是朝着更具包容性和顺畅的社区合作努力，解决生成式人工智能的风险问题所需的必要步骤。

Mar, 2024

AI系统的安全性、风险和社会影响的理解，以及人工智能与人类交互的模型评估，是本文的主题。我们讨论并实施了一种新兴评估方法——“人机交互评估”，将其运用于安全评估的有效性、直接人类影响和特定交互的危害，以及指导未来模型社会影响的评估。通过一个包含人-LLM交互分类的安全焦点的HIE设计框架，我们将其应用于两个潜在的过度依赖和说服风险评估，并提出对于HIE成本、可复制性和不代表性的担忧的切实建议。

May, 2024

现有的AI安全和AI对齐方法可能不够有效，我们建议将对齐问题视为社会科学问题，并提出一种基于社会科学工具的替代对齐方法，该方法由三个步骤组成：定义人类/人工智能协作的积极期望社会结果，正确界定已知和未知，以及组建多样化团队来研究、观察和应对对齐中出现的挑战。

May, 2024