本研究引入了可学习的响应评分函数（LARS）用于生成式大型语言模型中的不确定性估计（UE）。我们提出了 LARS，它利用监督数据来捕捉令牌和概率之间的复杂依赖关系，从而在计算生成物的不确定性时产生更可靠和校准的响应评分。我们在多个数据集上进行了广泛的实验证明，LARS 在各种基于概率的 UE 方法中显著优于现有的评分函数。

Jun, 2024

本文介绍了一种新的面向语言生成的评估标准，即 Language Model Augmented Relevance Score（MARS）。该标准引入了强化学习引导的预训练语言模型来创建上下文感知的评估参考，并将之用于对生成文本进行评分。与已有的七种评估标准相比，MARS 不仅更好地反映了人类评价，而且在较大程度上区分了良好生成结果和对抗样本。

Aug, 2021

为了使大型语言模型（LLMs）能够成为具有可推广的推理能力的有意识的代理人，关键是它们具备理解由环境因素或其他代理人的行动触发的分布情况变化（转换）的推理能力。我们提出了一种新颖的推理形式，称为 MetAphysical ReaSoning，它将分布变化的推理视为一个三步骤的判别过程，并引入了首个基准测试 MARS 来评估 LLMs 在推理行动变化引起的可能性、由变化行动引起的状态以及由行动变化驱动的情境转换方面的能力。深入评估显示，即使对于最先进的 LLMs 和经过微调的 LMs 而言，该过程中的所有三个任务都带来了重大挑战。进一步的分析揭示了 LLMs 表现不佳的潜在原因，并证明了在大规模概念分类法中预训练 LLMs 可以潜在地增强其形而上学推理能力。我们的数据和模型可以在此 https URL 上公开访问。

Jun, 2024

本研究通过研究生成不平等性如何影响不确定性估计，提出了将注意力转移到更相关的组件来处理生成不平等性的方法，通过在各种自由形式的问答任务中进行实验，证明了该方法的优越性。

Jul, 2023

通过语义密度方法，解决大型语言模型在安全关键场景中的不确定性问题，提高可信度和性能表现。

May, 2024

开发了一种名为 “Rank-Calibration” 的新颖实用框架，用于评估语言模型的不确定性和置信度，通过量化与生成质量的关系偏差的方式，消除了二进制阈值化的需求，并在实证验证中展示了方法的广泛适用性和细粒度可解释性。

Apr, 2024

我们提出了一种自动化的大语言模型（LLM）转换方法，可以产生能够在每个预测中估计不确定性的具有不确定性感知能力的 LLM。我们的方法与模型和数据无关，计算效率高，不依赖外部模型或系统。我们在选择性问答环境下评估了转换模型，即尽可能回答问题同时保持给定的准确性，在必要时放弃提供预测。作为我们结果的一部分，我们在 SQuAD 抽取式问答任务和 TruthfulQA 生成式问答任务上测试了 BERT 和 Llama 2 模型变体。我们表明，使用我们方法提供的不确定性估计有选择性地回答问题，可以显著提高准确性，相比直接使用模型概率。

Nov, 2023

该研究探讨了基于黑盒 LLMs 的自然语言生成的不确定性计量，提出几个置信度 / 不确定度统计度量标准，并发现语义分散的平均值可以作为评估 LLMs 响应质量的可靠指标。

May, 2023

本文提出了一种测量大型语言模型中不确定性的方法，介绍了语义熵的概念，并且证明该方法在问答任务上的准确性优于基线模型。

Feb, 2023

使用神经模型基于最小递归语义 (MRS) 的结构化表示，生成高质量文本，通过将基于依赖关系的 MRS 的线性化映射到英文文本，可以实现 BLEU 得分为 66.11，该方法可通过使用高精度的广覆盖语言模型生成训练语料库得到进一步提升，在完整测试集上达到 77.17，进一步在与银标准数据最接近的测试数据子集上达到 83.37，结果表明 MRS-based 表示是需要同时具有结构化语义和文本生成能力的应用程序的良好选择。

Apr, 2019