Sep, 2024

CLUE：大型语言模型的概念级不确定性估计

HTML
PDF
TL;DR本研究针对现有大型语言模型（LLMs）在不确定性估计上的不足，提出了概念级不确定性估计（CLUE）框架。该方法通过将输出序列转化为概念级表示，能够单独评估序列中每个概念的不确定性，从而提供更具可解释性的结果，具有重要的应用潜力，如幻觉检测和故事生成。
发现论文，激发创造
  • 生成有信心：针对黑盒大型语言模型的不确定性量化

    该研究探讨了基于黑盒LLMs的自然语言生成的不确定性计量，提出几个置信度/不确定度统计度量标准，并发现语义分散的平均值可以作为评估LLMs响应质量的可靠指标。

    May, 2023

  • 将注意力转向相关性：大型语言模型的不确定性估计

    本研究通过研究生成不平等性如何影响不确定性估计，提出了将注意力转移到更相关的组件来处理生成不平等性的方法，通过在各种自由形式的问答任务中进行实验，证明了该方法的优越性。

    Jul, 2023

  • 通过利用不确定性感知型上下文学习提高大型语言模型的可靠性

    通过引入一种不确定性感知的上下文学习框架，我们改进了大规模语言模型的响应质量，并过滤掉具有较高不确定性的答案，从而提高了模型的准确性。

    Oct, 2023

  • 大型语言模型的自然语言解释的不确定性量化

    在这项研究中，我们尝试量化大型语言模型（LLM）解释的不确定性。为此，我们提出了两个新的度量标准——“口头化不确定性”和“探测不确定性”，用于量化生成解释的不确定性。我们的实证分析揭示了口头化不确定性不是可靠的解释置信度的估计，而探测不确定性的估计与解释的忠实度相关，较低的不确定性对应于较高的忠实度。这项研究为量化LLM解释的不确定性带来了洞察，有助于更广泛地探讨基础模型的可靠性。

    Nov, 2023

  • 通过不确定性量化对LLMs进行基准测试

    通过整合不确定性量化的新型基准评估方法，本研究发现：准确性较高的大型语言模型可能显示出较低的确定性，较大规模的语言模型可能与较小规模的模型相比具有更大的不确定性，指令微调倾向于增加语言模型的不确定性。这些结果强调了在语言模型评估中整合不确定性的重要性。

    Jan, 2024

  • 语言模型中的不确定性：通过排名校准进行评估

    开发了一种名为“Rank-Calibration”的新颖实用框架，用于评估语言模型的不确定性和置信度，通过量化与生成质量的关系偏差的方式，消除了二进制阈值化的需求，并在实证验证中展示了方法的广泛适用性和细粒度可解释性。

    Apr, 2024

  • 核心语言熵：基于语义相似性的LLMs细粒度不确定性量化

    在大型语言模型中，不确定性量化对于关系到安全性和可靠性的应用至关重要。我们提出了Kernel Language Entropy（KLE），这是一种用于估计白盒和黑盒语言模型中不确定性的新方法，它能够捕捉到模型输出的语义不确定性，并通过von Neumann熵来量化不确定性。实验证明，KLE在多个自然语言生成数据集和语言模型架构上提供了更好的不确定性量化性能。

    May, 2024

  • 上下文序列似然性：增强自然语言生成的置信分数

    通过为各种标记分配不同的权重，使用从基础语言模型中产生的注意力值来增强预测的序列概率，我们提出了上下文化的序列可能性（CSL）这一新的评分方法。在几个问答数据集和各种语言模型中，CSL在预测生成质量方面显示出明显更高的可靠性。

    Jun, 2024

  • 基于语言模型的不确定性估计的语义多样化语言生成

    大型语言模型可通过引入语义多样性来量化生成过程中的预测不确定性，从而减少虚构性的生成，提高模型可靠性，并在问题回答任务中取得了优于现有方法的结果，同时在计算效率上也有了突破。

    Jun, 2024

  • 微调语言模型以生成不确定性语言表达

    本文解决了大型语言模型在信息生成中常常产生与现实冲突的信息的问题。通过监督微调不确定性增强的预测，研究提出了一种方法，使模型能够产生更为准确的不确定性语言表达，实验证明这一方法能够显著提升模型对自身预测的信心校准，从而提高用户对模型输出的信任度。

    Sep, 2024