本论文探讨了大型语言模型在理解自己的知识和衡量自身不确定性方面的能力，并提供了一个新的已知 - 未知问题数据集以及一个分类方法来解释不确定性的来源。通过评估 LM 在分类已知和未知问题以及在开放式问题回答中的质量方面，量化了 LM 表达答案中的不确定性的方法。

May, 2023

提出了一种新颖的自我检测方法，通过扩展问题的文本表达并收集相应的答案，检测大型语言模型（LLMs）是否会产生虚假回答，证明了该方法在 LLM 效果上的有效性。

Oct, 2023

基于 Feynman 的理解通过创造原则，我们引入了一个易于实施的自我认知评估框架，评估模型对自动生成的问题的理解和回应能力。我们的研究发现，在多个任务上测试多个模型后，模型的自我认知能力存在显著差距。进一步分析表明，这些差距可能是由于与人类注意机制的不匹配所导致的。此外，对自动生成的数学任务进行微调可以提高模型的数学性能，突出了该框架在高效和富有洞察力的模型评估方面的潜力，并可能有助于改善大型语言模型。

Jun, 2024

通过大型语言模型中的线性探针和无监督方法，研究确定性认知不确定性与随机认知不确定性的可行性，为多样化实际场景中模型置信度提供更详细的指标。

Feb, 2024

通过自体对齐方法，本文提出一种新颖且可扩展的方法以增强大型语言模型对不同类型未知问题的回答能力，不仅能够拒绝回答，还能提供关于无法回答的解释。实验结果验证了该方法在两个数据集上针对四种未知问题类型的三种任务形式方面优于现有基准模型。

Feb, 2024

这项研究系统地调查了大型语言模型在缺乏先验知识以生成有意义回答的情况下常出现的产生杜撰和幻觉的问题，旨在探讨如何教导这些模型主动和可靠地表达不确定性。研究发现，在处理无法回答问题的同时，通过针对训练数据中缺失信息设计的对抗性问答基准测试，经过指令微调和来自人类反馈的强化学习后的大型语言模型表现明显优于未经处理的模型。此外，通过提取不确定度表达的方法得到的结果并不始终与大型语言模型直接回答问题的自信程度一致。因此，我们呼吁进一步研究如何教导大型语言模型主动和可靠地表达不确定性。

Nov, 2023

人类对世界的理解与我们的感知和认知密切相关，其中人类语言作为世界知识的重要承载者之一。本文通过 “知识” 这个视角来探索大型模型，并讨论符号知识如何增强大型语言模型以及大型语言模型如何扩展传统符号知识基础。考虑到人类知识的复杂性，我们倡导创建专门管理多样化知识结构的大型知识模型，并提出了五个 “A” 原则来区分 LKM 的概念。

Dec, 2023

我们提出了一种自学习 LLM 框架，通过对自身幻觉的自我评估，使 LLM 能够独立学习先前未知的知识。通过幻觉评分，我们引入了一个新概念 Points in The Unknown（PiUs），以及一种外在和三种内在的自动 PiUs 识别方法，从而在 Points in The Unknown 的知识差距中创建一个自学习循环，从而减少幻觉评分。我们还开发了评估指标来衡量 LLM 的自学习能力。我们的实验表明，经过微调或调整的 7B-Mistral 模型具有相当好的自学习能力。我们的自学习概念可以实现更高效的 LLM 更新，并为知识交流开辟新的视角，这也可能增加公众对 AI 的信任。

Feb, 2024

本文提出了一种方法，使用未标注的数据进行自我训练和推理提高，通过 fine-tuning 在多个任务上达到了 SOTA 水平。

Oct, 2022

大型语言模型在理解和生成复杂查询方面表现出了卓越的能力，但它们在存储、回忆和推理大规模结构化知识方面的有效性仍有待研究，本研究发现虽然大型语言模型有望作为大规模知识库灵活地检索和回答问题，但需要增强它们的推理能力以充分发挥潜力。

Feb, 2024