从不确定性的角度进行的风险评估研究表明不确定性估计方法可用于揭示大型语言模型的预测风险，并可能发现由该模型生成的有错误的程序。

Jul, 2023

通过引入一种不确定性感知的上下文学习框架，我们改进了大规模语言模型的响应质量，并过滤掉具有较高不确定性的答案，从而提高了模型的准确性。

Oct, 2023

大型语言模型为了赢得人类的信任，需要具备良好的校准能力，准确评估和传达其预测的正确概率。本研究通过实验研究了人类用户对于语言模型可信度的感知和个性化解释对此感知的影响，发现默认解释会导致用户过高估计模型的信心和准确性，而更准确反映模型内部可信度的解释能够对用户感知产生显著影响，增强用户对语言模型输出的信任和准确性评估。透明传达语言模型可信度在高风险应用中尤为重要，特别是需要理解人工智能生成信息可靠性的场景。

Jan, 2024

大语言模型中的虚假生成和过度自信在预测中引起对其可靠性的担忧, 本文通过引入多语言置信度估计(MlingConf)对大语言模型进行全面调查, 包括多语言问答数据集、置信度估计性能、跨语言置信度估计方法的提出, 实验结果表明该跨语言置信度估计技术能显著提高置信度估计。

Feb, 2024

通过使用标记的数据集，本文研究了针对大型语言模型（LLMs）的不确定性估计和校准问题，提出了一个监督学习方法来估计LLMs响应的不确定性，并展示了利用隐藏激活对不同任务进行增强不确定性估计的好处和在超出分布范围的情况下的鲁棒性，同时区分了不确定性估计任务和不确定性校准任务，并表明更好的不确定性估计模式会导致更好的校准性能。

Apr, 2024

本研究针对大型语言模型（LLMs）在提示优化中缺乏有效不确定性评估的问题，提出了一个基准数据集来评估不确定性指标。通过对GPT-3.5-Turbo和Meta-Llama-3.1-8B-Instruct模型的分析，发现当前指标更能反映答案不确定性，而非正确性不确定性，从而提出应改进不确定性指标以优化提示的方向。

Sep, 2024

本研究解决了大型语言模型（LLMs）在遵循用户指令过程中不确定性估计的不足。我们提出了一种新颖的受控评估方法，通过两个基准版本的数据全面比较不确定性估计方法的表现。研究发现，现有的不确定性估计方法在模型存在微小错误的情况下表现不佳，强调了LLMs在指令遵循任务中的局限性及其信任度的重要性。

Oct, 2024

本研究针对大型语言模型（LLMs）推出的一个关键问题——预测中的不确定性估计，指出现有文献多依赖启发式方法，缺乏系统的分类。论文通过整合贝叶斯推断、信息理论和集成策略等理论视角，分类了各种不确定性估计方法，并探讨了将这些方法应用于LLMs时面临的挑战，同时还分析了它们在多种应用中的集成方式，旨在推动LLMs在现实场景中更可靠有效的不确定性估计方法的发展。

Oct, 2024

本研究针对大型语言模型（LLMs）在高风险应用中遵循用户指令的能力不足的问题，首次系统评估了其在不确定性估计方面的能力。通过引入受控评估设置和两个数据基准版本，我们发现现有的不确定性估计方法在细微错误情况下表现不佳，从而揭示了LLMs在指令遵循过程中面临的关键挑战，并为构建更可靠的AI代理提供了重要见解。

Oct, 2024

本研究重点解决大型语言模型（LLMs）中的不确定性估计不足的问题。提出了一种全面框架，旨在识别和理解不确定性的类型及来源，从而为准确量化这些不确定性开发针对性的方法奠定基础。研究结果显示，该框架能够显著提升对不确定性多样性的理解，促进LLMs在实际应用中的可靠性和普遍采用。

Oct, 2024