LLMs是否能够表达他们的不确定性？LLMs中置信度引出的经验评估
该研究探讨了基于黑盒LLMs的自然语言生成的不确定性计量，提出几个置信度/不确定度统计度量标准，并发现语义分散的平均值可以作为评估LLMs响应质量的可靠指标。
May, 2023
研究通过对大型语言模型（LLMs）的认知能力和置信度动态的深入了解，揭示了模型中展现高置信度但回答错误的情况，类似于人类心理学中的邓宁-克鲁格效应，以及低置信度但回答正确的情况，展示了潜在的低估偏差，强调了对这些语言模型认知过程的深入研究的必要性，以进一步拓展其功能和应用领域。
Sep, 2023
大型语言模型为了赢得人类的信任，需要具备良好的校准能力，准确评估和传达其预测的正确概率。本研究通过实验研究了人类用户对于语言模型可信度的感知和个性化解释对此感知的影响，发现默认解释会导致用户过高估计模型的信心和准确性，而更准确反映模型内部可信度的解释能够对用户感知产生显著影响，增强用户对语言模型输出的信任和准确性评估。透明传达语言模型可信度在高风险应用中尤为重要，特别是需要理解人工智能生成信息可靠性的场景。
Jan, 2024
大语言模型中的虚假生成和过度自信在预测中引起对其可靠性的担忧, 本文通过引入多语言置信度估计(MlingConf)对大语言模型进行全面调查, 包括多语言问答数据集、置信度估计性能、跨语言置信度估计方法的提出, 实验结果表明该跨语言置信度估计技术能显著提高置信度估计。
Feb, 2024
通过使用各种数据集和提示技术，本研究探索了大型语言模型（LLMs）内部信心与其对外表达的一致性，其中OpenAI的GPT-4表现出最强的信心-概率对齐性，并有助于评估LLMs的风险和提高对模型可信度的认识。
May, 2024
大型语言模型的事实准确性不可靠，为了解决这个问题，自然语言处理研究人员提出了一系列技术来估计模型对事实的置信度。然而，由于缺乏系统性的比较，不清楚不同方法之间的差异。为了填补这一空白，我们提出了一个调查和实证比较事实置信度估计器的实验框架，涵盖了事实验证和问题回答。我们的实验结果表明，训练的隐藏状态探针提供了最可靠的置信度估计，但需要权重和训练数据。我们还通过测量模型在输入的语义等效变化下的行为一致性来进行深入评估事实置信度。我们发现，大型语言模型的置信度在语义上等效的输入中往往不稳定，这表明改进模型参数化知识的稳定性有很大的改进空间。
Jun, 2024
本研究解决了大型语言模型（LLMs）在知识边界感知方面的不足，重点分析了模型在生成的概率与口头信心之间的差异和联系。通过比较，发现概率感知通常比口头感知更准确，但需要领域内的验证集以调整信心阈值，且二者在处理不常见问题时表现更佳。这一发现有助于提升模型在回答超出其知识范围问题时的可靠性。
Aug, 2024
本研究针对大型语言模型（LLMs）推出的一个关键问题——预测中的不确定性估计，指出现有文献多依赖启发式方法，缺乏系统的分类。论文通过整合贝叶斯推断、信息理论和集成策略等理论视角，分类了各种不确定性估计方法，并探讨了将这些方法应用于LLMs时面临的挑战，同时还分析了它们在多种应用中的集成方式，旨在推动LLMs在现实场景中更可靠有效的不确定性估计方法的发展。
Oct, 2024