Nov, 2023

蓄意风险控制：用于大型语言模型负责任部署的严密框架

PDF
TL;DR大型语言模型的能力提升引发了对如何最好地提示模型执行给定任务的兴趣，为了减轻最坏结果风险并促进负责任的部署，我们提出了 Prompt Risk Control 框架，通过对一系列信息风险度量的严格上界选择提示，成功改善了生成质量中的分歧。
发现论文，激发创造
  • PromptBench：评估大型语言模型对对抗性提示的鲁棒性

    本研究使用 adversarial prompts 对 Large Language Models 进行度量，并分析了 prompt 鲁棒性及其传递性，为 prompt 组合提供了实用性建议。

    Jun, 2023

  • 插入并玩：一种控制文本生成的提示调整方法

    利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

    Apr, 2024

  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 大型语言模型的红队和防御攻击指令生成

    通过综合手动和自动方法生成攻击提示的综合方法，提出了一种攻击框架来训练大型语言模型并模仿人类生成的提示，并通过与攻击框架的迭代交互来增强受攻击模型对红队攻击的安全性；在不同的大型语言模型上进行广泛实验证实了攻击和防御框架的有效性，并发布了一系列攻击提示数据集（SAP）以便更多大型语言模型的安全评估和增强。

    Oct, 2023

  • Prompt2Model: 从自然语言指令生成可部署的模型

    通过 Prompt2Model 方法，可以使用少量的提示，训练出性能优异、体积小 700 倍的特定目的模型，用于自然语言处理任务。

    Aug, 2023

  • 量化语言模型对触发设计中伪特征的敏感性，或：我如何开始担忧触发格式

    大语言模型的关键因素在于提示设计对其性能会产生巨大影响，通过许多方面的分析研究，我们发现几种常用开源大语言模型对微妙的提示格式变化具有极高的敏感性，这种敏感性在不断增加模型大小、样本数量或进行指令调整时仍然存在。

    Oct, 2023

  • 通过提示回归进行提示探索

    基于大规模语言模型的广泛使用，提出了一种用于预测提示组合效果的框架 PEPR，并提供了简单方法用于选择有效的提示。在不同任务上，利用不同规模的开源语言模型对该方法进行了评估。

    May, 2024

  • 大规模语言模型的自动且通用提示注入攻击

    自动梯度方法生成高效、通用的提示注入数据，彰显梯度测试的重要性，尤其是对于防御机制。

    Mar, 2024

  • 通过模拟优化选择语言模型提示

    基于模拟优化，提出了一个两阶段框架以实现生成语言模型的提示选择，该框架能够在评估和选择阶段中构建代表提示的中等维度向量的得分模型，并证明了该框架中的顺序评估过程的一致性。数值实验证明了此框架的有效性，为实施提供了实际指导。

    Apr, 2024

  • PromptBench: 一个用于评估大型语言模型的统一库

    评估大规模语言模型（LLMs）的关键是评估其性能并减轻潜在的安全风险。本文介绍了 PromptBench，一个用于评估 LLMs 的统一库，包括关键组件：提示构建、提示工程、数据集和模型加载、对抗性提示攻击、动态评估协议和分析工具。PromptBench 旨在成为一个开放、通用和灵活的代码库，用于研究目的，可以促进在创建新的基准、部署下游应用程序和设计新的评估协议方面的原始研究。代码可在此 URL 处获得并将获得持续支持。

    Dec, 2023