May, 2023

使用因果中介分析方法理解语言模型中的算术推理

PDF
TL;DR本研究利用因果中介分析框架对大型语言模型在算术问题上的机制解释进行了研究，结果表明，中后期少量层次的激活对算术问题预测结果产生显著影响，模型对算术问题和事实知识的预测有不同的激活模式，并揭示了语言模型中涉及算术推理的特定组分。
large language modelsarithmetic taskscausal mediation analysisactivationsattention mechanism
发现论文，激发创造
  • 从算术任务中学习多步推理

    本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

    Jun, 2023

  • 评估大型语言模型的干预推理能力

    评估大型语言模型在干预作用下准确更新其对数据生成过程的知识的能力，以及对因果推断中不同因果图和变量类型的干预性推理的研究。研究结果表明，虽然 GPT-4 模型在预测干预效果方面表现出有希望的准确性，但它们对提示中的干扰因素仍然敏感。

    Apr, 2024

  • 大型语言模型对因果推理是否需要全部知识？

    该研究论文探讨了大型语言模型在提升人工智能的解释性和可靠性方面的因果推理。提出了一种利用 “do-operators” 构建反事实场景的因果归因模型，系统度量输入数值数据和语言模型先有知识对其因果推理过程的影响。实验评估发现，语言模型的因果推理能力依赖于所提供的上下文信息和特定领域的知识，并支持 “知识确实是语言模型在进行合理因果推理时主要需要的” 这一观点。与此相反，在缺乏知识的情况下，语言模型仍然通过可用的数值数据进行一定程度的因果推理，尽管计算存在一定限制。

    Dec, 2023

  • 研究神经元激活作为统一视角来解释 LLM 的引发思维链的算术推理

    通过研究神经元激活，我们探索了大型语言模型中算术推理能力的重要性，以及神经元激活对 CoT 提示的 components 的影响，并提出了一个基于 GPT-4 的方法来自动识别涉及算术推理的神经元。

    Jun, 2024

  • 因果推理与大型语言模型：为因果关系开辟新领域

    本文探讨了大型语言模型（LLMs）的因果能力，证明它们在因果推理方面具有优越性能和独特的知识来源。同时，我们提供了技术来解释它们的鲁棒性，并认为 LLMs 可用作人类领域知识的代理以及降低因果分析中的人力成本。因此，LLMs 在推动因果研究、实践和采纳方面开辟了新的前沿。

    Apr, 2023

  • 用因果框架量化语言模型数学推理的鲁棒性

    通过行为测试，研究语言模型在数学问题求解中的鲁棒性和灵敏度，并通过因果图描述直接干预输入空间对模型行为的影响。在双变量数学问题测试中，LLM、GPT-3-Instruct（175B）相对于其他 GPT 变体，在鲁棒性和灵敏度方面实现了显著提高。

    Oct, 2022

  • 语言模型的数值计算能力：从记忆到计算

    该研究调查了语言模型在计算预测和问题解决能力方面的应用，以及其在进行算术计算和内部信息处理方面的推广能力。通过使用二进制加法和乘法作为测试样本，该研究成功地训练了一个轻量级语言模型，并进行了一系列实验以探究其外推能力和内部信息处理过程。研究结果支持了该假设，即语言模型在适当的内部表示映射后，计算发生在数值空间中，其工作类似于一个编码 - 回归 - 解码机器。

    Aug, 2023

  • 培训以调用符号求解器为目标的经济型语言模型实现参数高效算术推理

    在这篇论文中，我们提出了一种名为 SYRELM 的架构，它通过采用符号求解器来将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的 LM 生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的 LM，从而实现合理的算术推理。该方法在准确性上取得了巨大的改进，并具有易于诊断、解释和大多数研究人员可以使用的特点。

    Dec, 2023

  • 大型语言模型的符号能力研究

    研究证实，大型语言模型在处理基于符号的任务时面临符号复杂度上升的挑战，强调了需要专门的训练、内存和架构调整以提高它们在符号推理任务中的熟练度。

    May, 2024

  • 语言模型轻松完成难算术任务，但几乎不能完成简单算术任务

    大型语言模型在进行算术任务中对多位数乘法的可信准确预测能力较强，而对单位数乘法可信准确预测的能力较差，但在给出正确的高位数字作为条件下，后者任务的可信准确预测能力可以大幅提升。

    Jun, 2024