本论文提出了新方法来研究自然语言处理（NLP）任务中表征模型和数据不确定性的好处，通过在卷积和循环神经网络模型上的实证实验，展示了明确建模不确定性不仅有利于测量输出置信水平，而且对于提升各种NLP任务中的模型表现也是有用的。

Nov, 2018

探讨如何利用符合性预测方法对大型语言模型进行不确定性量化，以提高其在多选题答题等任务中的可靠性及稳定性。研究发现，符合性预测所估计的不确定性与模型的预测准确性存在密切关联，这一发现可以用于选择性分类及过滤低质量预测结果等下游应用。研究还探讨了符合性预测对于超出问题领域的问题的处理方法。本工作旨在为大型语言模型在安全关键性场景中提供更加可信和可靠的使用保障。

May, 2023

该研究探讨了基于黑盒LLMs的自然语言生成的不确定性计量，提出几个置信度/不确定度统计度量标准，并发现语义分散的平均值可以作为评估LLMs响应质量的可靠指标。

May, 2023

本文是关于自然语言处理领域内关于神经网络可靠度估计的全面综述，对各种不确定性量化方法和主要应用进行了系统性和归纳性的研究和讨论，并提出了未来研究方向。

Jun, 2023

该研究介绍了一种新的适用于生成式语言模型的公差预测方法，它不仅能够精确地预测结果，还具有统计学的可靠性。研究者们通过校准样本输出和严格限制机制来实现这种方法。

Jun, 2023

通过连接语言建模和符合预测，我们提出了一种名为符合真实性的框架，可以确保语言模型输出的高概率正确性保证。我们观察到语言模型输出的正确性等同于一个不确定性量化问题，其中不确定性集合被定义为语言模型输出的蕴含集合。利用这种连接，我们展示了在语言模型中的符合预测对应于一种回退算法，通过逐步使语言模型输出不太具体（并扩大相关的不确定性集合）以提供高概率的正确性保证。这种方法适用于任何黑盒语言模型，并且只需要很少的人工标注样本。我们对我们的方法在闭卷问答（FActScore，NaturalQuestions）和推理任务（MATH）上进行评估，结果表明我们的方法可以在保留大部分语言模型原始输出的同时提供80-90%的正确性保证。

Feb, 2024

本研究旨在解决大型语言模型中无法访问 logits 的不确定性量化的普遍挑战。我们提出了一种面向 API-only 语言模型的新型 CP 方法，通过同时利用粗粒度（如样本频率）和细粒度（如语义相似性）的不确定性概念来构建不确定度量，实现了更好的预测性能。实验证明，我们的方法在封闭式和开放式问答任务中大多能够胜过基于 logits 的 CP 对照组。

Mar, 2024

我们开发了新的一致推断方法，用于获取大型语言模型 (LLMs) 输出的有效性保证。我们通过过滤控制函数的评估结果来确定出LLM响应中满足高概率正确性保证的文本子集。我们的方法解决了现有方法存在的两个问题，首先，所述保证并非条件有效；其次，因为评分函数不完善，过滤步骤可能会删除许多有价值和准确的声明，我们通过两种新的一致方法解决了这两个挑战。

Jun, 2024

通过从预测集构建的置信度条件中整合正确性对齐的不确定性准则，本研究在自然语言生成任务中，将确定性预测转化为严格的理论保证，从而解决了最近大型语言模型中的异构不确定性问题，并利用抽样不确定性测量方法提高了先前最先进的方法。通过在模型的非固定答案分布中校准预测集，实现对6个大型语言模型在4个自由格式的自然语言生成数据集上的正确覆盖率的严格控制，证明了我们的方法在实际开放式自然语言生成应用中提供可靠保证的高效性。

Jun, 2024

本研究解决了自然语言处理模型预测可靠性不足的问题，并探讨了如何从语言、统计和神经角度量化和减少不确定性。通过实证研究和理论分析，我们提出了基于非可交换共形预测的新方法，用于自然语言生成过程中的采样校准，从而提高了模型的输出可靠性。

Oct, 2024