Nov, 2023

AART：多元数据生成的 AI 辅助红队技术用于新 LLM 技术应用

PDF
TL;DR通过自动生成敌对评估数据集，提供了一种新的方法，用于测试大型语言模型在新的下游应用中生成结果的安全性，为了减少人工工作量并能够更早地集成敌对测试，使用 AI 辅助的可重复和可定制的数据生成和增强流程，生成具有高内容特征多样性的评估数据集，结果显示与一些最先进的工具相比，在概念覆盖和数据质量方面具有很大的潜力。
adversarial testinglanguage modelsautomated generationai-assisted red-teamingdata diversity
发现论文，激发创造
  • MART：利用多轮自动红队测试提高 LLM 的安全性

    提出了一种名为 MART（Multi-round Automatic Red-Teaming）的自动多轮红队方法，通过自动对抗性提示编写和安全响应生成，显著提高了红队的可扩展性和目标大型语言模型的安全性。

    Nov, 2023

  • 文化协作：AI 辅助的互动式红色对抗测试，应对在低动态范围线性模型中文化多元知识的挑战

    CulturalTeaming 是一个人工智能系统，与人类合作创建多元文化知识评估数据集，通过与人类的互动合作，利用大型语言模型的自动化功能，提高文本注释者的能力并改善他们的体验，从而评估大型语言模型的多元文化知识，并揭示了现代大型语言模型在多元文化能力上存在的显著差距。

    Apr, 2024

  • ART：自动红队针对文本到图像模型保护正常用户

    大规模的预训练生成模型在生成创意内容方面表现出色，但是存在安全风险，为了保护用户的权益和安全，我们提出了一种名为 ART 的新型自动红队框架，旨在通过结合视觉语言模型和大型语言模型，有效地识别文本转图像模型的漏洞，并通过实验证明了这种方法的有效性和适应性，以及 ART 引入的三个大规模红队数据集用于研究与文本转图像模型相关的安全风险。

    May, 2024

  • YaART：又一种 ART 渲染技术

    YaART 是一种有效且高保真度的产业级文本到图像扩散模型，通过强化学习从人类反馈中对齐到人类偏好。在开发 YaART 过程中，我们特别关注模型和训练数据集大小的选择，这些方面在文本到图像扩散模型中以前没有系统地进行研究。特别是，我们全面分析了这些选择如何影响训练过程的效率和生成图像的质量，这在实践中非常重要。此外，我们证明了在高质量图像的较小数据集上训练的模型能够成功与在较大数据集上训练的模型竞争，建立了更高效的扩散模型训练场景。从质量的角度来看，YaART 始终优于许多现有的最先进模型。

    Apr, 2024

  • 学习大型语言模型上多样化的攻击方法，用于鲁棒性红队和安全优化

    使用 GFlowNet fine-tuning 和二次平滑阶段对攻击者模型进行训练，生成多样且有效的攻击触发词，攻击方法对多种目标大语言模型有效，且通过基于强化学习的红队方法生成的红队训练触发词进行模型安全调优可有效防护。

    May, 2024

  • ATM：通过对抗调节多智能体系统实现强大的检索增强生成器

    利用迭代式多智能体对抗调整，通过 ATM 系统，大型语言模型 (LMM) 可以区分真假相关文件，并且在 RAG 管道中实现更好的性能表现。

    May, 2024

  • 生成 AI 的红队测试：是银弹还是安全娱乐？

    通过对 AI 工业界最近的红队活动案例和相关研究文献的调查，我们发现先前的 AI 红队方法和实践在多个方面存在差异，包括活动目的、评估对象、实施方式和所得出的决策。鉴于我们的发现，我们认为虽然红队可能是一个有价值的广义概念，用于描述一系列旨在改善 Generative AI 模型行为的活动和态度，但宣称红队是解决一切可能风险的万灵药则属于安全戏剧。为了更好地评估生成 AI，我们将我们的建议综合成一个问题库，旨在指导和规范未来的 AI 红队实践。

    Jan, 2024

  • RADAR: 鲁棒的 AI 文本检测方法

    RADAR, a framework for Robust AI-text Detection via Adversarial Training, significantly outperforms existing AI-text detection methods by using adversarial training to improve the capability of detecting AI-generated text, especially in cases where paraphrasing is used.

    Jul, 2023

  • 使用自适应对抗训练提升检索增强语言模型的抗噪能力

    这项研究将大型语言模型与检索增强生成相结合，提出了一种名为 RAAT 的新的检索增强自适应对抗训练方法，通过适应性对抗训练动态调整模型的训练过程以应对检索噪声，并通过多任务学习确保模型内部识别噪声上下文的能力。实验证明，使用 RAAT 训练的 LLaMA-2 7B 模型在不同噪声条件下显著提高了 F1 和 EM 分数。

    May, 2024

  • 彩虹团队：多样对抗提示的开放生成

    使用彩虹团队合作的方法，通过生成多样化的对抗性提示来提高大型语言模型的鲁棒性，涉及领域包括安全性、问答和网络安全。还证明了通过彩虹团队生成的合成数据进行微调可以提高最新大型语言模型的安全性，同时不损害其整体能力和实用性，为开放式的自我提升铺平了道路。

    Feb, 2024