Jul, 2024

大语言模型下文本标注的提示稳定性评分

HTML
PDF
TL;DR我们提出了一种诊断提示稳定性的通用框架，通过采用传统的内部和外部编码者可靠性评分方法，并提供了一个名为PromptStability的Python包来估计提示稳定性得分（PSS）。通过使用六个不同的数据集和十二个结果，我们对超过150,000行的数据进行分类以：a）诊断提示稳定性较低的情况；和b）展示该包的功能。最后，我们提供了应用研究人员的最佳实践建议。
发现论文，激发创造
  • 连续数据更新下的模型稳定性

    本研究探讨了机器学习模型的稳定性问题，提出了评估模型稳定性的方法，并发现网络架构和输入表示等模型设计选择对稳定性有重大影响，推荐在进行建模选择时考虑准确性和抖动之间的权衡。

    Jan, 2022

  • 通过语义一致性衡量大型语言模型的可靠性

    本研究针对更新的预训练语言模型（PLMs）在语义一致性方面的问题，提出了一种衡量语义一致性的度量标准，并在TruthfulQA数据集上评估多个PLMs的性能，发现我们提出的语义一致性度量标准比传统的基于词汇一致性的度量标准更可靠，也与人类评估输出一致性的程度更为相关。

    Nov, 2022

  • 评估离散提示的健壮性

    本文研究了离散提示在下游自然语言推理任务中的鲁棒性，通过应用AutoPrompt并在两个自然语言推理数据集中测量其表现，发现尽管基于离散提示的方法对自然语言推理输入的扰动相对较为鲁棒，但对提示令牌的移动和删除等其他类型的扰动非常敏感，而且其在不同的自然语言推理数据集上的泛化能力较差。

    Feb, 2023

  • PromptBench：评估大型语言模型对对抗性提示的鲁棒性

    本研究使用adversarial prompts对Large Language Models进行度量，并分析了prompt鲁棒性及其传递性，为prompt组合提供了实用性建议。

    Jun, 2023

  • 大型语言模型的语义一致性保障

    通过引入语义一致性的综合度量和提出的问询策略来提高大型语言模型在开放式文本生成和闭卷问题回答方面的性能。

    Aug, 2023

  • 量化语言模型对触发设计中伪特征的敏感性，或：我如何开始担忧触发格式

    大语言模型的关键因素在于提示设计对其性能会产生巨大影响，通过许多方面的分析研究，我们发现几种常用开源大语言模型对微妙的提示格式变化具有极高的敏感性，这种敏感性在不断增加模型大小、样本数量或进行指令调整时仍然存在。

    Oct, 2023

  • 蓄意风险控制: 用于大型语言模型负责任部署的严密框架

    大型语言模型的能力提升引发了对如何最好地提示模型执行给定任务的兴趣，为了减轻最坏结果风险并促进负责任的部署，我们提出了 Prompt Risk Control 框架，通过对一系列信息风险度量的严格上界选择提示，成功改善了生成质量中的分歧。

    Nov, 2023

  • 关于大型语言模型最差提示性能的研究

    大型语言模型在实际应用中存在可靠性问题，而使用提示工程和一致性方法在改善模型性能上的作用有限。因此，我们需要创建更具弹性的语言模型，以适应多样的提示并保持高性能。

    Jun, 2024

  • 量化LLM对提示工程的敏感性和一致性：我做错了什么？

    使用两个度量标准（敏感性和一致性）来评估大型语言模型在分类任务中的性能，并希望它们能成为自动提示工程框架中寻求平衡鲁棒性与性能的有力工具。

    Jun, 2024

  • 怎样选择提示很重要：利用大型语言模型提升社会科学文本注释

    大型语言模型在社会科学文本标注任务中应用广泛，其性能超过人类工作者且成本更低。然而，我们以往对选择提示对标注准确性的影响尚未进行过研究。在本研究中，我们展示了性能在不同提示之间存在巨大差异，并运用自动提示优化的方法系统地设计出高质量提示。同时，我们还提供了一个简单的基于浏览器实现的方法链接给社区。

    Jul, 2024