大语言模型中上下文学习的不确定性分解和量化

Feb, 2024

大语言模型中上下文学习的不确定性分解和量化

Uncertainty Decomposition and Quantification for In-Context Learning of Large Language Models

Chen Ling, Xujiang Zhao, Wei Cheng, Yanchi Liu, Yiyou Sun...

TL;DR我们的研究探讨了与上下文学习相关的大型语言模型的预测不确定性，强调这种不确定性可能来自提供的示范（先验不确定性）和模型配置的歧义（后验不确定性），提出了一种新的公式和相应的估计方法来量化两种类型的不确定性，以插入和使用的方式无监督地理解上下文学习的预测。广泛的实验证明了该分解的有效性。

Abstract

in-context learning has emerged as a groundbreaking ability of Large Language Models (LLMs) and revolutionized various fields by providing a few task-relevant demonstrations in the prompt. However, trustworthy issues

in-context learning large language models trustworthy issues predictive uncertainty epistemic uncertainty

发现论文，激发创造

通过利用不确定性感知型上下文学习提高大型语言模型的可靠性

通过引入一种不确定性感知的上下文学习框架，我们改进了大规模语言模型的响应质量，并过滤掉具有较高不确定性的答案，从而提高了模型的准确性。

Oct, 2023

审慎行事：大型语言模型下的不确定性测量的探索性研究

从不确定性的角度进行的风险评估研究表明不确定性估计方法可用于揭示大型语言模型的预测风险，并可能发现由该模型生成的有错误的程序。

Jul, 2023

大型语言模型的自然语言解释的不确定性量化

在这项研究中，我们尝试量化大型语言模型（LLM）解释的不确定性。为此，我们提出了两个新的度量标准 ——“口头化不确定性” 和 “探测不确定性”，用于量化生成解释的不确定性。我们的实证分析揭示了口头化不确定性不是可靠的解释置信度的估计，而探测不确定性的估计与解释的忠实度相关，较低的不确定性对应于较高的忠实度。这项研究为量化 LLM 解释的不确定性带来了洞察，有助于更广泛地探讨基础模型的可靠性。

Nov, 2023

生成式校准用于上下文学习

通过理论和实证研究，我们首次确定了上下文学习中的标签偏移现象，并提出了一种生成校准方法，通过调整标签边际分布来校准上下文预测分布，实验证明该方法在文本分类任务中显著且一致地优于其他校准方法，同时对于不同的提示配置也表现稳定。

Oct, 2023

LLMs 的不确定性估计与量化：一种简单的监督方法

通过使用标记的数据集，本文研究了针对大型语言模型（LLMs）的不确定性估计和校准问题，提出了一个监督学习方法来估计 LLMs 响应的不确定性，并展示了利用隐藏激活对不同任务进行增强不确定性估计的好处和在超出分布范围的情况下的鲁棒性，同时区分了不确定性估计任务和不确定性校准任务，并表明更好的不确定性估计模式会导致更好的校准性能。

Apr, 2024

相信还是不相信你的 LLM

我们在大型语言模型中探索不确定性量化，旨在确定查询结果的不确定性何时较大。我们同时考虑认识论不确定性和偶然性不确定性，从中推论出一种信息论度量，可可靠地检测只有认识论不确定性较大的情况，从模型的输出中可以仅通过一些特殊的迭代提示来计算。这种量化可以检测出幻觉，在单答案和多答案响应中均适用。与许多标准的不确定性量化策略（例如，将响应的对数似然度阈值化）不同，无法检测到多答案情况下的幻觉。我们进行了一系列实验证明了我们的公式的优势。此外，我们的研究还揭示了大型语言模型给定输出的概率如何通过迭代提示来放大，这可能具有独立的研究价值。

Jun, 2024

知识的知识：使用大型语言模型探索已知 - 未知的不确定性

本论文探讨了大型语言模型在理解自己的知识和衡量自身不确定性方面的能力，并提供了一个新的已知 - 未知问题数据集以及一个分类方法来解释不确定性的来源。通过评估 LM 在分类已知和未知问题以及在开放式问题回答中的质量方面，量化了 LM 表达答案中的不确定性的方法。

May, 2023

用语言模型区分可知与不可知

通过大型语言模型中的线性探针和无监督方法，研究确定性认知不确定性与随机认知不确定性的可行性，为多样化实际场景中模型置信度提供更详细的指标。

Feb, 2024

有监督的知识提升大语言模型在上下文学习中的表现

通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

Dec, 2023

透过输入澄清集成对大型语言模型的不确定性进行分解

本文介绍了一种用于大型语言模型的不确定性分解框架，称为输入澄清集合，可提供准确可靠的不确定性量化，改进了大型语言模型的可靠性、可信度和可解释性。

Nov, 2023