该研究证明，通过使用既有的预训练模型中的隐含知识以及显式的自然语言陈述，神经网络可以可靠地执行系统性推理任务，这为开放领域的系统不断与用户交互、持续改进的路径铺平了道路。

Jun, 2020

从文本推理的能力对于现实世界的自然语言处理应用至关重要。现实场景通常涉及不完整或不断演化的数据，在这种情况下，个体会相应地更新其信念和理解。然而，大多数现有评估假设语言模型在处理一致信息时运行，我们引入了 Belief-R，这是一个新的数据集，旨在测试语言模型在面对新证据时的信念修订能力。受人类抑制先前推理的启发，该任务在新提出的 delta reasoning（＄ΔR＄）框架内评估语言模型。Belief-R 包含一系列前提，旨在模拟额外信息可能需要语言模型绘制的先前结论的情况。我们对约 30 个不同提示策略的语言模型进行评估，发现语言模型通常在适当修订其信念以响应新信息方面存在困难。此外，擅长更新的模型在没有必要更新的情况下通常表现不佳，凸显了一种关键权衡。这些洞见强调了提高语言模型对变化信息的适应能力的重要性，这是朝着更可靠的人工智能系统迈出的一步。

Jun, 2024

通过 FairBelief 分析方法，我们揭示了英语语言模型普遍具有关于特定性别的伤害性信念，不同的训练过程、数据集、模型规模和架构会引发各种程度的伤害性信念。

Feb, 2024

提出了 MemoryBank，这是一种采用 Ebbinghaus 遗忘曲线中的记忆更新机制的新型记忆机制，旨在解决长期交互中 LLM 的记忆缺陷问题，并通过与心理对话调整提高其同理心。通过实验研究，证明了 MemoryBank 能够成功提高聊天机器人在长期 AI Companion 中的表现能力。

May, 2023

本文提出了一种基于内部工作记忆模块的决策制定代理，可以通过存储、混合和检索信息来改善其在不同下游任务中的训练效率和泛化能力，并进一步证明记忆微调可以增强所提出架构的适应性。

May, 2023

提出了一种称为 TiM（Think-in-Memory）的新型记忆机制，通过保存后思考的思想作为历史记录，使得 LLMs 能够维护进化的记忆以存储历史思想，并且通过引入局部敏感哈希实现了对长期对话的高效检索，从而显著提升了现有 LLMs 在生成长期互动响应方面的性能。

Nov, 2023

通过神经激活语言模型，线性解码不同代理人的信念状态，发现其内部包含了自我和他人信念的表征，这些表征对社会推理过程具有关键作用，同时在不同因果推理模式的多种社会推理任务中表现出潜在的泛化能力。

Feb, 2024

在大型语言模型中添加一个反思层次，通过构建信念图和使用形式化的约束推理器，从而减少其答案与其他 “信念” 的依赖关系和不一致性，REFLEX 方法可以改善一定程度的一致性，同时不降低模型的答案准确性。

May, 2023

大语言模型 (Large Language Models) 内部如何表达其对世界的信念是一个缺乏统一理论基础的研究领域，本文通过提出适当性条件，填补了这一空白。研究人员通过结合哲学和机器学习方法，建立了准确度、连贯性、一致性和应用等四个标准，以促进对大语言模型中信念表达的全面理解。

May, 2024

本文通过介绍一种新的合成问答数据集 PrOntoQA，旨在通过对 LLMs 的系统探索，该数据集是通过使用一阶逻辑表示的合成世界模型生成的。作者对 InstructGPT 和 GPT-3 进行了分析，表明 LLMs 能够进行正确的逻辑推理，但在方案规划方面存在困​​难。

Oct, 2022