Dec, 2024

朝向学习推理：大型语言模型与神经符号方法在抽象推理中的算术关系比较

HTML
PDF
TL;DR本研究比较了大型语言模型（LLMs）和神经符号方法在解决拉文的渐进矩阵（RPM）中的表现，该测试涉及数学规则的理解。尽管提供了结构化的表示，GPT-4和Llama-3 70B仍未达到完美准确率，分析表明LLM在理解和执行算术规则方面存在局限，而神经符号方法ARLC在此领域展现出几乎完美的准确率，提供了一种潜在的改进方案。
发现论文，激发创造
  • 机器数感：一组用于抽象和关系推理的视觉算术问题数据集

    为了将关键的认知能力赋予机器智能，本文提出一个新的数据集，即机器数理感知(MNS)，其由采用And-Or Graph(AOG)语法模型自动生成的视觉算术问题组成，提出结合经典搜索算法和现代神经网络的方法，以更好地理解数字概念和关系运算。

    Apr, 2020

  • 大型语言模型中的符号数学问题推理

    该论文研究了大型语言模型在数学问题推理方面的能力，特别关注符号推理在数值问题中的准确性，并通过自提示的方法提高了符号准确性，为模型提供了简洁可验证的推理能力。

    Aug, 2023

  • 培训以调用符号求解器为目标的经济型语言模型实现参数高效算术推理

    在这篇论文中，我们提出了一种名为SYRELM的架构，它通过采用符号求解器来将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的LM生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的LM，从而实现合理的算术推理。该方法在准确性上取得了巨大的改进，并具有易于诊断、解释和大多数研究人员可以使用的特点。

    Dec, 2023

  • 大型语言模型的符号能力研究

    研究证实，大型语言模型在处理基于符号的任务时面临符号复杂度上升的挑战，强调了需要专门的训练、内存和架构调整以提高它们在符号推理任务中的熟练度。

    May, 2024

  • 评估拉马大型语言模型的新兴符号推理能力

    大型语言模型在各种任务中取得了令人印象深刻的表现，即使它们通常只是为了与用户流畅聊天而训练。本文系统地研究了流行的开源大型语言模型在不同符号推理任务上的能力和局限性。我们评估了Llama 2家族的三个模型在两个需要解决不同难度数学公式的数据集上。我们测试了一个通用的大型语言模型（Llama 2 Chat）以及两个专门设计用于解决数学问题的经过微调的Llama 2版本（MAmmoTH和MetaMath）。我们观察到，增加模型规模并在相关任务上进行微调可以显著提高性能。此外，通过使用细粒度的评估指标，我们发现这种性能提升主要出现在复杂度较低的数学公式上，尽管对于最大的经过微调的模型来说，这些公式通常仍然具有一定挑战性。

    Jun, 2024

  • 研究神经元激活作为统一视角来解释LLM的引发思维链的算术推理

    通过研究神经元激活，我们探索了大型语言模型中算术推理能力的重要性，以及神经元激活对CoT提示的components的影响，并提出了一个基于GPT-4的方法来自动识别涉及算术推理的神经元。

    Jun, 2024

  • 无算法的算术：语言模型利用启发式方法解决数学问题

    本研究探讨大型语言模型（LLMs）在算术推理任务中的解决机制，揭示其是否依赖于学习强大的算法或仅是对训练数据的记忆。通过因果分析，研究发现模型的正确算术答案源于一组实现简单启发式的神经元，表明这些启发式组合是模型取得算术准确性的关键机制。

    Oct, 2024

  • 利用大型语言模型进行逻辑推理中的假设推断：一种神经符号方法

    本研究解决了大型语言模型（LLMs）在逻辑推理中的泛化能力不足和信息损失问题。我们提出了一种名为LINA的神经符号方法，使LLM能够自主从命题逻辑提取过渡到复杂的逻辑推理，从而提高推理过程的稳健性，并消除对外部求解器的依赖。实验表明，LINA在五个逻辑推理任务中表现优于传统方法，其在FOLIO数据集上的性能提升达24.34%。

    Oct, 2024

  • 通过背景运算符增强大型语言模型的数学推理

    本研究针对大型语言模型中的数学推理能力不足问题，提出了一种利用背景运算符的方法。研究引入了MATH-Prolog语料库，并通过K折交叉验证自我训练的方法，实现了对新的Prolog解的有效识别，最终在测试集上达到了84.8%的准确率，展示了该方法在解决未见问题时的潜在影响。

    Dec, 2024

  • 神经符号数据生成用于数学推理

    本研究旨在解决大型语言模型在数学推理中表现不足的问题，通过开发一种自动化方法生成高质量的监督数学数据集。该方法结合了大语言模型的直观非正式化优势和数学求解器的精确符号推理能力，生成的数据在实证实验中表现出色，使得LLaMA-2和Mistral在重新对齐后优于现有的同类模型。

    Dec, 2024