量化语言模型对触发设计中伪特征的敏感性，或：我如何开始担忧触发格式

Oct, 2023

量化语言模型对触发设计中伪特征的敏感性，或：我如何开始担忧触发格式

Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting

PDF

Melanie Sclar, Yejin Choi, Yulia Tsvetkov, Alane Suhr

TL;DR大语言模型的关键因素在于提示设计对其性能会产生巨大影响，通过许多方面的分析研究，我们发现几种常用开源大语言模型对微妙的提示格式变化具有极高的敏感性，这种敏感性在不断增加模型大小、样本数量或进行指令调整时仍然存在。

Abstract

As large language models (LLMs) are adopted as a fundamental component of language technologies, it is crucial to accurately characterize their performance. Because choices in prompt design can strongly influence

large language models prompt design llm sensitivity prompt formatting performance differences

发现论文，激发创造

量化 LLM 对提示工程的敏感性和一致性：我做错了什么？

使用两个度量标准（敏感性和一致性）来评估大型语言模型在分类任务中的性能，并希望它们能成为自动提示工程框架中寻求平衡鲁棒性与性能的有力工具。

Jun, 2024

大型语言模型对日语提示的敏感性和鲁棒性

本文通过全面评估几个代表性的大型语言模型（LLMs）和广泛使用的预训练模型 T5，在基准日语数据集上对这些模型进行了审查，旨在评估和分析当前跨语言模型在这一背景下的性能，并提出了潜在的研究路径，以进一步提高大型语言模型在稳定性方面的性能。

May, 2023

触发语言：什么语言属性使得提示成功？

在这项研究中，我们调查了不同规模、预训练和指导调优的 LLMs 在在语义上等效但语言结构不同的提示上的性能，发现 LLMs 的性能不能通过困惑度、词频、歧义或提示长度来解释，并提出了对提示研究更健壮和综合的评估标准的建议。

Nov, 2023

计算社会科学任务中的提示设计对结果具有重要影响，但其方式难以预测

手动注释计算社会科学任务的数据成本高昂、耗时且情感压力大。最近的研究表明，零 - shot 设置下，语言模型可以执行此类注释任务，但我们对于提示设计如何影响语言模型的遵从和准确性了解甚少。我们进行了大规模的多提示实验，以测试模型选择（ChatGPT、PaLM2 和 Falcon7b）和提示设计特征（定义包含、输出类型、解释和提示长度）对 LLM 生成注释的遵从和准确性的影响，针对四个计算社会科学任务（毒性、情感、谣言态度和新闻框架）。我们的结果表明，LLM 的遵从和准确性高度依赖于提示。例如，提示使用数值得分而不是标签会降低所有 LLM 的遵从和准确性。整体而言，最佳的提示设置取决于任务，微小的提示更改会导致生成标签分布上的巨大变化。通过显示提示设计对 LLM 生成注释的质量和分布有显著影响，本研究作为研究人员和从业者的警示和实践指南。

Jun, 2024

E-Bench: 大型语言模型易用性评估

通过系统分析大型语言模型（LLMs）抵抗提示扰动的稳定性，本研究构建 E-Bench 模拟真实人类使用情况，并讨论了同义扰动和排版扰动的组合以及性能下降的主要原因，实验证明即便随着模型规模的增加，易用性显著提升，但仍需努力建立足够用户友好的模型。

Jun, 2024

注意格式：实现对上下文学习改进的一致评估

大语言模型在解决新任务方面表现出了非凡的能力。本研究在大语言模型的上下文学习性能中探究了输入示例的格式对模型性能的影响，并提出了使用多个模板进行模型预测的模板集成方法，以提高模型性能并减少模板选择的影响。

Jan, 2024

关于大型语言模型最差提示性能的研究

大型语言模型在实际应用中存在可靠性问题，而使用提示工程和一致性方法在改善模型性能上的作用有限。因此，我们需要创建更具弹性的语言模型，以适应多样的提示并保持高性能。

Jun, 2024

噪声示例提高大型语言模型的鲁棒性：无领域行为分析

通过域不可知的扰动，我们引入了一种系统的方法来测试大型语言模型在多跳推理任务中的鲁棒性，发现模型对于某些扰动（如用同义词替换单词）更为敏感，并且我们证明增加提示中扰动示例的比例可以提高少样本提示方法的鲁棒性。

Nov, 2023

大语言模型的公平指导少样本提示

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

LLM 决策能力的敏感性探究：来自提示变异和超参数的洞察

大型语言模型在决策任务中的表现与输入提示和超参数有关，并显示出与人类相似的探索和开发权衡。

Dec, 2023