本论文通过大规模语言模型的调查研究案例来介绍了一种用于获取编码在语言模型中的信念的统计方法，并应用此方法研究了不同语言模型中编码的道德信念，特别是在选择不明显的模棱两可情况下。这项研究设计了一项大规模调查研究，包含了 680 个道德情景（如 “我应该说一个善意的谎言吗？”）和 687 个明确的道德情景（如 “我应该在路上停车让行人通过吗？”），并对 28 个开放和闭源语言模型进行了调查。结果发现，在明确的情景中，大多数模型选择与常识一致的行动，而在模棱两可的情况下，大多数模型表达了不确定性，并且部分模型对问题的方式非常敏感，同时一些模型在模糊情景中反映出明确的偏好，尤其是闭源模型之间的一致性较高。

Jul, 2023

通过神经激活语言模型，线性解码不同代理人的信念状态，发现其内部包含了自我和他人信念的表征，这些表征对社会推理过程具有关键作用，同时在不同因果推理模式的多种社会推理任务中表现出潜在的泛化能力。

Feb, 2024

我们考虑大型语言模型是否具有信念，以及如果它们确实具有信念，我们如何衡量它们。在评估两种现有方法失败后，我们认为即使 LLMs 具有信念，在概念上这些方法也不太可能成功。因此，还没有 LLMs 的测谎仪。我们总结了研究结果，并提出了一些未来工作的具体路径。

Jun, 2023

通过 FairBelief 分析方法，我们揭示了英语语言模型普遍具有关于特定性别的伤害性信念，不同的训练过程、数据集、模型规模和架构会引发各种程度的伤害性信念。

Feb, 2024

我们在大型语言模型中探索不确定性量化，旨在确定查询结果的不确定性何时较大。我们同时考虑认识论不确定性和偶然性不确定性，从中推论出一种信息论度量，可可靠地检测只有认识论不确定性较大的情况，从模型的输出中可以仅通过一些特殊的迭代提示来计算。这种量化可以检测出幻觉，在单答案和多答案响应中均适用。与许多标准的不确定性量化策略（例如，将响应的对数似然度阈值化）不同，无法检测到多答案情况下的幻觉。我们进行了一系列实验证明了我们的公式的优势。此外，我们的研究还揭示了大型语言模型给定输出的概率如何通过迭代提示来放大，这可能具有独立的研究价值。

Jun, 2024

知识的总结和组织对于学习和推理至关重要。我们展示了大型语言模型在知识方面存在显著的不一致性。通过使用简单的知识图谱，我们能够揭示语言模型中的概念上的不一致性，并提出了改进语言模型的策略。

May, 2024

大型语言模型（LLM）在文本理解和逻辑推理方面表现出了非凡的能力，在多个认知任务中实现或甚至超过了人类水平的表现。本文提出了一种新的方法，通过将 LLM 表示与人类认知信号进行桥接，评估 LLM 在模拟认知语言处理方面的有效性。我们采用了表示相似性分析（RSA）来衡量 16 个主流 LLM 与脑部 fMRI 信号之间的对齐程度。实证研究调查了多种因素（如模型扩展、对齐训练、指令附加）对 LLM - 脑信号对齐的影响。实验结果表明，模型扩展与 LLM - 脑信号相似性呈正相关，对齐训练可以显著提高 LLM - 脑信号相似性。此外，广泛的 LLM 评估（如 MMLU，Chatbot Arena）的性能与 LLM - 脑信号相似性高度相关。

Feb, 2024

通过对归纳逻辑编程基准测试的深入评估，本研究表明与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。

Jan, 2024

构建与伊斯兰世界观一致的领域特定大型语言模型 (Large Language Models) 的挑战、解决方案和评估方法的研究。

Dec, 2023

大型语言模型在合理推理中显示出人类的偏见和不合理行为，但这种不合理行为与人类不同，且存在额外的回答不一致性。

Feb, 2024