大型语言模型为了赢得人类的信任，需要具备良好的校准能力，准确评估和传达其预测的正确概率。本研究通过实验研究了人类用户对于语言模型可信度的感知和个性化解释对此感知的影响，发现默认解释会导致用户过高估计模型的信心和准确性，而更准确反映模型内部可信度的解释能够对用户感知产生显著影响，增强用户对语言模型输出的信任和准确性评估。透明传达语言模型可信度在高风险应用中尤为重要，特别是需要理解人工智能生成信息可靠性的场景。

Jan, 2024

大语言模型中的虚假生成和过度自信在预测中引起对其可靠性的担忧，本文通过引入多语言置信度估计 (MlingConf) 对大语言模型进行全面调查，包括多语言问答数据集、置信度估计性能、跨语言置信度估计方法的提出，实验结果表明该跨语言置信度估计技术能显著提高置信度估计。

Feb, 2024

研究综合调查了大型语言模型（LLM）的内在自我修正能力，并提出了一种基于 “confidence” 的 “If-or-Else” 提示框架，以帮助提升自我修正能力的准确性。

Feb, 2024

通过使用各种数据集和提示技术，本研究探索了大型语言模型（LLMs）内部信心与其对外表达的一致性，其中 OpenAI 的 GPT-4 表现出最强的信心 - 概率对齐性，并有助于评估 LLMs 的风险和提高对模型可信度的认识。

May, 2024

研究通过构建自我认知指令提示池，评估大型语言模型的自我认知，并提出四个原则来量化模型的自我认知水平。结果显示在 Chatbot Arena 的 48 个模型中，有 4 个模型展示出可检测到的自我认知。模型规模、训练数据质量与自我认知水平之间存在正向相关关系。此外，研究还探索了自我认知状态下大型语言模型的效用和可信度，揭示了自我认知状态增强创造性写作和夸张等特定任务的能力。这项工作有望激发进一步研究大型语言模型的自我认知。

Jul, 2024

基于 Feynman 的理解通过创造原则，我们引入了一个易于实施的自我认知评估框架，评估模型对自动生成的问题的理解和回应能力。我们的研究发现，在多个任务上测试多个模型后，模型的自我认知能力存在显著差距。进一步分析表明，这些差距可能是由于与人类注意机制的不匹配所导致的。此外，对自动生成的数学任务进行微调可以提高模型的数学性能，突出了该框架在高效和富有洞察力的模型评估方面的潜力，并可能有助于改善大型语言模型。

Jun, 2024

通过使用教育诊断评估方法，本研究在 MoocRadar 上进行评估，这是一个基于布鲁姆分类法的人工测试数据集，旨在揭示大型语言模型的知识结构并了解其认知能力的差异模式，从而为研究人员在 LLMs 的知识方面提供更明确、更有效的发展和利用。

Oct, 2023

本研究评估了大语言模型的自我认知能力，通过引入自主问答数据集和一种自动化方法来检测不能回答的问题，研究发现大语言模型具有一定的自我认知能力，可以通过上下文学习和指导调整进一步提高其自我认知。但是，研究还发现，这些模型与人类在识别知识限制方面存在明显差距。

May, 2023

大型语言模型（LLM）在文本理解和逻辑推理方面表现出了非凡的能力，在多个认知任务中实现或甚至超过了人类水平的表现。本文提出了一种新的方法，通过将 LLM 表示与人类认知信号进行桥接，评估 LLM 在模拟认知语言处理方面的有效性。我们采用了表示相似性分析（RSA）来衡量 16 个主流 LLM 与脑部 fMRI 信号之间的对齐程度。实证研究调查了多种因素（如模型扩展、对齐训练、指令附加）对 LLM - 脑信号对齐的影响。实验结果表明，模型扩展与 LLM - 脑信号相似性呈正相关，对齐训练可以显著提高 LLM - 脑信号相似性。此外，广泛的 LLM 评估（如 MMLU，Chatbot Arena）的性能与 LLM - 脑信号相似性高度相关。

Feb, 2024

大型语言模型通常无法准确表达其内在的不确定性，因此需要更好的对齐以提高其可信度。

May, 2024