Oct, 2022

利用关系抽象进行推理的学习

PDF
TL;DR本文介绍了一种利用关系抽象概念来帮助大型语言模型在数学推理方面提高的新方法，并发现将这种序列用作提示可使模型具有更强的推理能力，特别是在需要执行多步任务的情况下。
large language modelsmathematical reasoningrelational abstractionsabstract characterizationmulti-step tasks
发现论文，激发创造
  • 通过关系元组、验证和动态反馈提高大型语言模型的算术推理能力

    使用关系元组在大型语言模型的推理步骤中表示一种半结构化形式，通过引入关系元组、自动验证过程和动态反馈机制来改善大型语言模型的算数推理能力。

    Jun, 2024

  • 学会演绎推理：将数学问题解决视为复杂关系提取

    提出了一种基于复杂关系提取的数学问题求解方法，通过可解释的演绎推理步骤构建目标表达式，实现了更准确且可理解的问题求解。

    Mar, 2022

  • 语言模型对推理的人类内容效应展示

    大型语言模型在抽象推理任务上表现优秀，但与人类推理问题存在相似的缺陷，同时受到人类知识和信仰的影响，使用可信的现实情境方案进行推理可以提高推理质量，这种关联性帮助我们了解认知效应和语言模型表现的因素。

    Jul, 2022

  • 为什么要逐步思考？推理出自于体验的本地性

    使用语言模型探究推理何时及为何有帮助，得出推理步骤的有效性取决于训练数据的统计结构和中间变量与目标推理之间的相关性。

    Apr, 2023

  • 有意义的学习：通过通用事实指导提升大型语言模型的抽象推理能力

    我们设计了一个初步的研究，以量化和深入探讨现有大型语言模型的抽象推理能力。我们的结果显示，我们的方法不仅提高了大型语言模型的一般推理性能，而且在抽象推理能力方面取得了可观的进展，从简单的记忆或模仿转向了更加精细的对通用事实的理解和应用。

    Mar, 2024

  • 语言模型中的概念和公正推理

    我们提出了一个新的概念化框架，迫使模型在抽象问题上进行概念推理并在可验证的符号空间中生成解决方案，使用这个框架作为分析工具，我们发现现有的大型语言模型在概念推理方面存在不足，并通过引入可信的归纳信号来改善模型的概念推理性能，实验证明我们提出的技术使模型的概念推理性能提高了 8% 至 11%，实现了一个更强大的推理系统，更少地依赖归纳偏见。

    Mar, 2024

  • Peano: 学习形式化数学推理

    本研究探讨在数学中的程序抽象结构，定案例研究并且说明通过 Peano 定理证明环境和可重用抽象的能力，加上恰当的教学大纲，是保障自动化数学推理的长期文化传播的有效方法。

    Nov, 2022

  • 从算术任务中学习多步推理

    本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

    Jun, 2023

  • 大型语言模型不是抽象推理器

    本论文评估了最新的 Large Language Models 在抽象推理任务上的表现，并发现它们相比于其他自然语言处理任务的表现非常有限。作者探讨了这种差异的原因，并提出了一个新的基准，用于评估自然语言处理中的抽象推理任务。

    May, 2023

  • 神经模型的数学推理能力分析

    该研究针对数学领域中的推理、学习、应用规则等独特挑战，提出了一个数学问题套件的任务，用于测试和评估神经架构等系统的性能、能力和失效模式。通过生成数据并运用序列到序列的最强模型，可以从不同角度评估模型在数学问题解决和知识推广方面的能力。

    Apr, 2019