自我认知评估大型语言模型

Jun, 2024

Can I understand what I create? Self-Knowledge Evaluation of Large Language Models

Zhiquan Tan, Lai Wei, Jindong Wang, Xing Xie, Weiran Huang

TL;DR基于 Feynman 的理解通过创造原则，我们引入了一个易于实施的自我认知评估框架，评估模型对自动生成的问题的理解和回应能力。我们的研究发现，在多个任务上测试多个模型后，模型的自我认知能力存在显著差距。进一步分析表明，这些差距可能是由于与人类注意机制的不匹配所导致的。此外，对自动生成的数学任务进行微调可以提高模型的数学性能，突出了该框架在高效和富有洞察力的模型评估方面的潜力，并可能有助于改善大型语言模型。

Abstract

large language models (LLMs) have achieved remarkable progress in linguistic tasks, necessitating robust evaluation frameworks to understand their capabilities and limitations. Inspired by Feynman's principle of understanding through creation, we introduce a →

large language models self-knowledge evaluation framework comprehension self-generated questions math performance

发现论文，激发创造

大型语言模型是否知道自己不知道的？

本研究评估了大语言模型的自我认知能力，通过引入自主问答数据集和一种自动化方法来检测不能回答的问题，研究发现大语言模型具有一定的自我认知能力，可以通过上下文学习和指导调整进一步提高其自我认知。但是，研究还发现，这些模型与人类在识别知识限制方面存在明显差距。

May, 2023

知识增强大型语言模型的原则框架

这篇论文介绍了一个严格设计的框架，用于创建能够有效锚定知识并采用闭环推理过程的大型语言模型，以提升其进行深入分析的能力，同时解剖了该框架的组成部分对模型性能的贡献，从而为改进推理能力提供了理论保证。

Nov, 2023

知识的知识：使用大型语言模型探索已知 - 未知的不确定性

本论文探讨了大型语言模型在理解自己的知识和衡量自身不确定性方面的能力，并提供了一个新的已知 - 未知问题数据集以及一个分类方法来解释不确定性的来源。通过评估 LM 在分类已知和未知问题以及在开放式问题回答中的质量方面，量化了 LM 表达答案中的不确定性的方法。

May, 2023

大型语言模型可自我提升

本文提出了一种方法，使用未标注的数据进行自我训练和推理提高，通过 fine-tuning 在多个任务上达到了 SOTA 水平。

Oct, 2022

大规模语言模型中的自我认知：一项探索性研究

研究通过构建自我认知指令提示池，评估大型语言模型的自我认知，并提出四个原则来量化模型的自我认知水平。结果显示在 Chatbot Arena 的 48 个模型中，有 4 个模型展示出可检测到的自我认知。模型规模、训练数据质量与自我认知水平之间存在正向相关关系。此外，研究还探索了自我认知状态下大型语言模型的效用和可信度，揭示了自我认知状态增强创造性写作和夸张等特定任务的能力。这项工作有望激发进一步研究大型语言模型的自我认知。

Jul, 2024

探索大型语言模型的认知知识结构：一种教育诊断评估的方法

通过使用教育诊断评估方法，本研究在 MoocRadar 上进行评估，这是一个基于布鲁姆分类法的人工测试数据集，旨在揭示大型语言模型的知识结构并了解其认知能力的差异模式，从而为研究人员在 LLMs 的知识方面提供更明确、更有效的发展和利用。

Oct, 2023

大型语言模型中自我评估提高选择性生成

使用大型语言模型进行自我评估可以提高生成内容的准确性，并与生成内容的整体质量更好地相关。

Dec, 2023

FAC$^2$E：通过区分语言和认知来更好地理解大型语言模型的能力

FAC$^2$E 是一个针对大型语言模型 (LLMs) 的能力评估框架，通过提取 LLMs 的中间推理，将特定能力应用过程分解为三个子步骤，并评估每个细分能力的各个子步骤，从而全面区分 LLMs 的语言相关能力和认知相关能力。利用 FAC$^2$E，我们发现模型中知识利用方面存在常见不足，并提出了一种简单、知识增强的方法来缓解这个问题。我们的研究不仅展示了有希望的性能改进，还为未来 LLMs 的发展方向提供了启示。

Feb, 2024

大型语言模型中的自信 - 能力差距：一项认知研究

研究通过对大型语言模型（LLMs）的认知能力和置信度动态的深入了解，揭示了模型中展现高置信度但回答错误的情况，类似于人类心理学中的邓宁 - 克鲁格效应，以及低置信度但回答正确的情况，展示了潜在的低估偏差，强调了对这些语言模型认知过程的深入研究的必要性，以进一步拓展其功能和应用领域。

Sep, 2023

进入未知领域：自学习大型语言模型

我们提出了一种自学习 LLM 框架，通过对自身幻觉的自我评估，使 LLM 能够独立学习先前未知的知识。通过幻觉评分，我们引入了一个新概念 Points in The Unknown（PiUs），以及一种外在和三种内在的自动 PiUs 识别方法，从而在 Points in The Unknown 的知识差距中创建一个自学习循环，从而减少幻觉评分。我们还开发了评估指标来衡量 LLM 的自学习能力。我们的实验表明，经过微调或调整的 7B-Mistral 模型具有相当好的自学习能力。我们的自学习概念可以实现更高效的 LLM 更新，并为知识交流开辟新的视角，这也可能增加公众对 AI 的信任。

Feb, 2024