EMNLPOct, 2023

NeMo Guardrails: 可控和安全的 LLM 应用程序的工具包，带有可编程 Rail

PDF
TL;DRNeMo Guardrails 是一个开源工具包，用于向基于 LLM 的对话系统轻松添加可编程的防护措施。该工具包允许开发者在 LLM 应用中添加可编程的防护措施，使得这些措施与底层的 LLM 无关且可解释，通过使用多个 LLM 提供者的初步结果表明，该方法能够用于开发可控且安全的 LLM 应用。
发现论文，激发创造
  • LLM 平台的安全性：将系统评估框架应用于 OpenAI 的 ChatGPT 插件

    通过插件生态系统来提高大型语言模型平台的安全性、隐私性和安全性，提出了一种攻击分类法的框架，在 OpenAI 的插件生态系统中应用了该框架，并提出了改进当前和未来基于 LLM 的计算平台的建议。

    Sep, 2023

  • 自护：赋予 LLM 保护自身能力

    利用自我保护方法 (Self-Guard) 来解决语言模型 (LLM) 被越狱攻击的问题，包括增强模型对有害内容的检测能力以及指导模型在自我响应中进行有害内容检测，实验证明自我保护方法对抵御越狱攻击具有鲁棒性且不会降低 LLM 的性能。

    Oct, 2023

  • LLM 能否遵循简单规则？

    大型语言模型在现实世界中的部署责任越来越重，为了能够可靠地指定和约束这些系统的行为，需要评估模型遵循开发者提供的规则的能力以及其面对对抗性输入的脆弱性。为此，我们提出了一种评估大型语言模型规则遵循能力的编程框架，并通过对模型行为的手动探索和对攻击策略的归纳，发现了各种攻击类型和模型的漏洞，从而为研究人员提供了一个挑战性的新环境来探索和防御对大型语言模型的手动和自动攻击。

    Nov, 2023

  • 基于大语言模型的对话式生成自动驾驶仿真场景

    本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。

    Oct, 2023

  • 安全芯片插入：强制 LLM 驱动的机器人代理遵守限制

    利用大型语言模型（LLM）所提供的世界知识和普遍推理能力，我们提出了一种基于线性时态逻辑（LTL）的可查询安全约束模块，用于在协作环境中部署 LLM 代理，并通过自然语言到时态约束编码、安全违规推理、不安全行为修剪等功能，实现了显式指示禁止行为、评估机器人对限制的理解，并确保其合规性。实验证明我们的系统可以严格遵守安全约束并能很好地适用于复杂的安全约束，具备实际应用潜力。

    Sep, 2023

  • 电信领域中 LLMs 的能力和局限性观察

    本文分析了引入生成式人工智能（AI）的大型语言模型（LLMs）—— 如 OpenAI 的 ChatGPT、GPT3.5 和 GPT4、谷歌的 Bard、Large Language Model Meta AI（LLaMA）等 —— 在通信界面（特别是企业无线产品和服务）中应用的能力和局限性，并针对 Craddlepoint 公开数据进行多个用例的比较分析，包括领域自适应、内容连贯性、输入扰动和错误的鲁棒性。我们相信这种评估将为数据科学家提供建立面向领域特定需求的定制对话接口的有用见解。

    May, 2023

  • ModelScope-Agent：使用开源大型语言模型构建可定制化的代理系统

    建立了 ModelScope-Agent 框架的工作介绍了一种将开放源代码的 LLMs 作为控制器的通用和可定制的代理框架，从而使 LLMs 具备工具使用能力，实现了工具使用数据收集、工具检索、工具注册、内存控制、定制模型训练和实际应用评估等全面的框架，最终展示了基于该框架的 ModelScope Community 的实际智能助理 ModelScopeGPT。

    Sep, 2023

  • 关于 LLMs 的隐含风险评估：关于鲁棒性，一致性和可信度的实证研究

    本研究使用自动化工作流程，对 ChatGPT、LLaMA 和 OPT 等主流 LLM 进行了数百万次查询，得出了 LLM 在稳健性、一致性和可信度方面存在的问题，提出了一种新的关联数据集索引来评估使用 LLM 进行学术评估的可行性。

    May, 2023

  • clembench: 使用游戏玩法评估对话代理的聊天优化语言模型

    本文探索了一种方法，即在特定的游戏场景中测试大型语言模型的表现，以此来深入了解它们是否能像环境理解代理一样进行操作，涵盖了五个交互设置，并表明当前聊天优化的大型语言模型在一定程度上能够遵循游戏规则，并且用于衡量游戏表现和调查 LLM 的性能具有诊断价值。

    May, 2023

  • SimpleSafetyTests: 大型语言模型中关键安全风险的测试套件

    开发大型语言模型的快速加速使得开源和开放获取的模型成为 ChatGPT 等专有模型的可行替代。然而，缺乏适当的引导和保障，大型语言模型容易遵循恶意指令、提供不安全建议和生成有害内容，这对企业和开发者来说是一个重大的安全风险。我们引入了 SimpleSafetyTests 作为一套新的测试套件，用于快速系统地鉴定此类重大安全风险。该测试套件包含 100 个测试提示，涵盖了大大多数应用中大型语言模型在五个危害方面应拒绝遵守的内容。我们测试了 11 个受欢迎的开源大型语言模型，并发现其中有几个存在重大的安全弱点。虽然一些大型语言模型没有给出任何不安全的回答，但我们测试的大多数模型在超过 20% 的情况下都会回答不安全，并且在极端情况下有超过 50% 的不安全回答。在系统提示中追加强调安全性的内容能够大大减少不安全回答的发生，但并不能完全阻止。我们建议开发者将此类系统提示作为防范重大安全风险的第一层防线。

    Nov, 2023