Jul, 2024

多语言融合：LLM安全对齐评估与语言混合

HTML
PDF
TL;DR本研究介绍了一种混合语言查询-回复方案，名为多语言融合，用于评估各种最先进的LLMs（例如GPT-4o、GPT-3.5、Llama3）在复杂的多语言环境下的安全对齐性。研究结果表明，没有经过精心制作的提示模板，多语言融合显著放大了恶意查询的危害，导致LLMs在安全对齐方面的绕过率显著增加。此外，多语言融合的性能在内在语言属性上有显著差异，不同形态和不同语系的语言更容易规避安全对齐。这些发现强调了在复杂的多语言环境下评估LLMs并开发相应的安全对齐策略以适应其优越的跨语言泛化能力的必要性。
发现论文，激发创造
  • 所有语言都重要：关于大型语言模型的多语言安全性

    我们建立了第一个多语言安全基准（XSafety）用于大型语言模型的开发和部署，在实验中发现所有的大型语言模型对非英语查询的不安全回复明显增多，为此我们提出了几种简单有效的提示方法，从而显著提高ChatGPT的多语言安全性。

    Oct, 2023

  • 评估大型语言模型：综述

    该研究综述了大型语言模型的评估方法，并提出了知识与能力评估、对齐评估和安全评估三个主要方面的评估方法，以及涵盖能力、对齐、安全和适用性的综合评估平台的构建。希望该综述能够推动对大型语言模型评估的更多研究兴趣，以促进负责任发展和最大化社会利益，同时最小化潜在风险。

    Oct, 2023

  • 语言障碍：剖析LLMs在多语言环境中的安全挑战

    本文探讨大型语言模型在多语言环境中的安全挑战，并讨论缓解此类问题的方法。通过比较先进的语言模型对高资源语言和低资源语言下恶意提示的响应，我们发现低资源语言中的恶意提示往往导致不安全的回答，并且语言模型对低资源语言的恶意提示产生更多的无关回答。此外，我们发现提高模型对高资源语言的训练并没有带来显著改善，表明跨语言对齐的瓶颈在于预训练阶段。我们的发现凸显了跨语言大型语言模型安全的挑战，并希望这些发现能指导未来的研究。

    Jan, 2024

  • 用于评估大型语言模型中的保障措施的中文数据集

    通过引入一个用于评估中文LLM安全性的数据集，我们扩展到其他两个场景，用于更好地识别有风险的提示拒绝的假阴性和假阳性示例，并提出了细化的每种风险类型的安全评估标准，为LLM响应的有害性进行手动注释和自动评估。我们在五个LLM上的实验表明，区域特定风险是最普遍的风险类型，是我们所研究的所有中文LLM的主要问题。

    Feb, 2024

  • 通过代码探索大型语言模型的安全泛化挑战

    通过将自然语言输入转化为代码输入，CodeAttack框架揭示了大型语言模型的安全泛化性问题，并发现了代码领域中的新安全风险，需要更健壮的安全对齐算法来匹配大型语言模型的代码功能。

    Mar, 2024

  • 确保安全和高质量的输出：面向语言模型的指南库方法

    为了解决大型语言模型存在的偏见内容生成和隐私问题，研究引入了Guide-Align方法，该方法通过安全训练模型识别潜在风险并建立指南和模型库，然后用于新输入的相关指导，以确保安全和高质量输出，还可以通过精调模型来优化对多样输入的适应性和对指南库的全面性。实验证明该方法显著提高了大型语言模型的安全性和质量，尤其是在13亿参数下，优于GPT-3.5-turbo和GPT-4的对齐能力。

    Mar, 2024

  • 构建安全负责的大语言模型--一个综合框架

    为了提高语言生成模型的安全性，我们引入了安全可靠的大型语言模型SR$_{ ext{LLM}}$，通过使用细致标注的数据集和多种方法来识别潜在的不安全内容，并生成无害的变体。经过对多个数据集的测试，我们观察到不安全内容的生成显著减少，同时在安全内容的生成方面也有明显的改进。我们的工作详细描述了SR$_{ ext{LLM}}$的微调过程，并通过社区参与来推动LMM的负责任推进。

    Apr, 2024

  • SafetyPrompts: 评估和改进大型语言模型安全性的开放数据集的系统综述

    系统回顾了用于评估和改进大型语言模型安全性的开放数据集，研究了102个数据集，并发现了可用数据集的使用模式和趋势，以及数据集覆盖的缺口和目前评估实践的局限性。

    Apr, 2024

  • 大规模语言模型的全面高效后编程安全对齐

    我们提出了一种后安全对齐（PSA）方法，以解决目前大型语言模型（LLMs）中脆弱和不平衡的安全机制问题，并且能够提升安全性、减轻过度安全性，并在保持实用性的同时无缝集成到目标LLM中。实验表明，这种方法不仅实现了比基准方法更全面和高效的后安全对齐，还增强了骨干模型的实用性，在当前对齐的LLMs中优化了有用性和无害性之间的平衡，同时在持续PSA场景下展示了其优越性。

    May, 2024

  • 模型合并与安全对齐：一枚坏模型败坏一群模型

    将多个专家语言模型合并成单一多功能模型的成本效益技术中，当前方法经常忽视了合并过程中安全对齐的重要性，导致模型高度不对齐。本研究调查了模型合并对对齐的影响，评估了几种常见的模型合并技术，证明现有方法不仅传递了领域专业知识，还传播了错对齐。我们提出了一个简单的两步方法来解决这个问题：(i)生成合成的安全性和领域特定数据，和(ii)将这些生成的数据纳入到现有数据感知的模型合并技术的优化过程中。这样，我们可以将对齐视为一项可以在合并后的多功能语言模型中最大化的技能。我们的实验表明，在合并过程中整合与对齐相关的数据的有效性，产生了在领域专业知识和对齐度方面都优秀的模型。

    Jun, 2024