BriefGPT.xyz
Ask
alpha
关键词
prompt variations
搜索结果 - 5
大型语言模型的社会偏见评估需求提示变化
本研究探讨了大型语言模型（LLMs）在不同提示变化下对任务表现和社会偏见的敏感性，发现 LLMs 对提示的敏感程度很高，可能导致在任务表现和社会偏见方面的模型排名波动。此外，在优化社会偏见和任务表现之间存在权衡，而高级 LLMs 的示例模糊
→
PDF
3 days ago
NLPerturbator：研究代码 LLMs 对自然语言变化的稳健性
本文研究了大型语言模型在现实场景中自然语言描述的变化对于代码生成的影响，并提出了一个自动化框架 NLPerturbator 来对不同类别的描述进行扰动，发现扰动后的描述可以显著降低代码生成的性能。研究强调了提高大型语言模型对于现实场景中描述
→
PDF
8 days ago
通过提示回归进行提示探索
基于大规模语言模型的广泛使用，提出了一种用于预测提示组合效果的框架 PEPR，并提供了简单方法用于选择有效的提示。在不同任务上，利用不同规模的开源语言模型对该方法进行了评估。
PDF
2 months ago
改变提示的蝴蝶效应：小的变化与越狱对大型语言模型的影响
在这项研究中，我们探究了提示的构建方式对大型语言模型的决策是否产生影响。我们通过一系列针对不同文本分类任务的提示变化进行了实验。研究发现，即使是最小的扰动，如在提示的末尾添加一个空格，都可能导致大型语言模型改变其回答。此外，要求以 XML
→
PDF
6 months ago
EMNLP
用于事实探索的测试时增强
使用测试时增强作为一种关系不可知方法，通过在测试时自动增强和集成提示，来减少对提示变化的敏感性，实验结果显示了改进的模型校准性，即使用测试时增强，模型的置信度更好地反映了预测的准确性。
PDF
8 months ago
Prev
Next