通过从过去经验中学习，增强大型语言模型中的自信表达
本研究探讨了不需要模型微调或专有信息的自信度引出方法，通过基于词汇、一致性和混合等三种类别的方法的基准评估和评估，揭示了语言模型的自信度过高以及一些方法的优点。
Jun, 2023
研究通过对大型语言模型（LLMs）的认知能力和置信度动态的深入了解，揭示了模型中展现高置信度但回答错误的情况，类似于人类心理学中的邓宁 - 克鲁格效应，以及低置信度但回答正确的情况，展示了潜在的低估偏差，强调了对这些语言模型认知过程的深入研究的必要性，以进一步拓展其功能和应用领域。
Sep, 2023
通过引入一种不确定性感知的上下文学习框架，我们改进了大规模语言模型的响应质量，并过滤掉具有较高不确定性的答案，从而提高了模型的准确性。
Oct, 2023
针对大型语言模型（LLM），特别是黑盒模型的应用，评估输出可信度的置信度估计是关键。现有的 LLM 置信度估计通常因 LLM 对生成的错误答案过于自信而缺乏校准。现有方法解决过度自信问题的能力受到一个重要限制，即它们仅考虑 LLM 生成的一个答案的置信度。为了解决这个限制，我们提出了一种新的范式，全面评估多个候选答案的可信度以减轻对错误答案的过度自信。基于这个范式，我们引入了一个两步框架，首先指导 LLM 反思并提供每个答案的理由，然后汇集这些理由进行全面的置信度估计。这个框架可以与现有的置信度估计方法结合，实现更好的校准。对三个任务的六个数据集的实验证明了所提框架的合理性和有效性。
Mar, 2024
大型语言模型为了赢得人类的信任，需要具备良好的校准能力，准确评估和传达其预测的正确概率。本研究通过实验研究了人类用户对于语言模型可信度的感知和个性化解释对此感知的影响，发现默认解释会导致用户过高估计模型的信心和准确性，而更准确反映模型内部可信度的解释能够对用户感知产生显著影响，增强用户对语言模型输出的信任和准确性评估。透明传达语言模型可信度在高风险应用中尤为重要，特别是需要理解人工智能生成信息可靠性的场景。
Jan, 2024
使用先进的 SaySelf 训练框架，通过自动总结知识不确定性以及分析不一致性，教导大语言模型表达更准确的细粒度置信度评估，并通过强化学习和奖励机制校准置信度估计，降低校准错误并保持任务性能。
May, 2024
利用黑盒或查询访问大型语言模型，通过工程化新特征并训练一个可解释的逻辑回归模型，我们提出了一个简单且可扩展的框架来估算模型响应的置信度。我们的实证研究表明，我们的简单框架在 TriviaQA、SQuAD、CoQA 和自然提问等基准数据集上，在估算 flan-ul2、llama-13b 和 mistral-7b 的置信度时，不仅稳定地优于现有的黑盒置信度估算方法，有时甚至在 AUROC 上提高超过 10%。此外，我们的可解释方法揭示了预测置信度的特征，使得我们为一个语言模型构建的置信度模型在给定数据集上能够泛化到其他语言模型。
Jun, 2024
在高风险应用中使用大型语言模型（LLMs）时，我们需要知道何时可以信赖它们的预测。本研究首先论证了仅仅使用提示是不足以实现良好校准的，然后展示了在一个小数据集上进行精调以创建具有良好概括性和小计算开销的不确定性估计的方法。我们还研究了可靠的 LLM 不确定性估计的机制，并通过用户研究展示了不确定性估计如何影响人与 AI 的协作环境中的人类使用 LLMs。
Jun, 2024