我们提出了一种自动化的大语言模型（LLM）转换方法，可以产生能够在每个预测中估计不确定性的具有不确定性感知能力的 LLM。我们的方法与模型和数据无关，计算效率高，不依赖外部模型或系统。我们在选择性问答环境下评估了转换模型，即尽可能回答问题同时保持给定的准确性，在必要时放弃提供预测。作为我们结果的一部分，我们在 SQuAD 抽取式问答任务和 TruthfulQA 生成式问答任务上测试了 BERT 和 Llama 2 模型变体。我们表明，使用我们方法提供的不确定性估计有选择性地回答问题，可以显著提高准确性，相比直接使用模型概率。

Nov, 2023

通过引入一种不确定性感知的上下文学习框架，我们改进了大规模语言模型的响应质量，并过滤掉具有较高不确定性的答案，从而提高了模型的准确性。

Oct, 2023

从不确定性的角度进行的风险评估研究表明不确定性估计方法可用于揭示大型语言模型的预测风险，并可能发现由该模型生成的有错误的程序。

Jul, 2023

该研究探讨了基于黑盒 LLMs 的自然语言生成的不确定性计量，提出几个置信度 / 不确定度统计度量标准，并发现语义分散的平均值可以作为评估 LLMs 响应质量的可靠指标。

May, 2023

在高风险应用中使用大型语言模型（LLMs）时，我们需要知道何时可以信赖它们的预测。本研究首先论证了仅仅使用提示是不足以实现良好校准的，然后展示了在一个小数据集上进行精调以创建具有良好概括性和小计算开销的不确定性估计的方法。我们还研究了可靠的 LLM 不确定性估计的机制，并通过用户研究展示了不确定性估计如何影响人与 AI 的协作环境中的人类使用 LLMs。

Jun, 2024

我们介绍了一种新颖方法，利用大型语言模型（LLM）结合不确定性感知模块，提供生成答案的置信度评分，从而在图处理中实现高准确性和解释性。我们在两个图处理任务上的实验证明，通过参数高效微调，LLM 在十个不同的基准数据集上胜过最先进的算法。此外，为了解决可解释性的挑战，我们提出了基于扰动的不确定性估计方法，并使用校准方案来量化生成答案的置信度得分，我们的置信度度量在预测由 LLM 生成的答案的正确性方面在十个数据集中的七个上达到了 0.8 或更高的 AUC。

Mar, 2024

通过大型语言模型中的线性探针和无监督方法，研究确定性认知不确定性与随机认知不确定性的可行性，为多样化实际场景中模型置信度提供更详细的指标。

Feb, 2024

大型语言模型通常无法准确表达其内在的不确定性，因此需要更好的对齐以提高其可信度。

May, 2024

大规模语言模型在编程语言分析中被广泛应用以提高人类生产力。本研究通过引入大规模基准数据集，调查了应用概率方法来处理与代码分布变化相关的问题，结果表明这些方法能够提高 CodeLlama 的不确定性感知能力，并增加校准质量和不确定性估计精度。然而，在不同标准（如校准误差与错误分类检测）和效能与效率之间存在不同的性能动态，强调了需根据特定环境进行方法选择的必要性。

Jan, 2024

通过探索新的方法来检测大型语言模型中的潜在偏见，本研究聚焦于不确定性量化和可解释人工智能方法，旨在提高模型决策的透明性，以识别和理解不明显的偏见，从而为更加公平和透明的人工智能系统的发展做出贡献。

Apr, 2024