Feb, 2024

超越线和圆：揭示大型语言模型中的几何推理差距

PDF
TL;DR大型语言模型（LLMs）在数学和算法任务中展现日益增长的能力，但它们的几何推理技能尚未被充分探索。我们研究了 LLMs 在构造性几何问题求解上的能力，这是人类数学推理发展中最基本的一步。我们的工作揭示了当前 LLMs 面临的显著挑战，尽管在类似领域取得了很多成功。LLMs 在目标变量选择上存在偏见，并且在二维空间关系方面遇到困难，常常误代和产生对象及其放置的幻觉。为此，我们介绍了一个基于 LLMs 的多智能体系统框架，通过进行内部对话来增强它们现有的推理潜力。这项工作突出了 LLMs 在几何推理中目前的局限性，并通过自我纠正、协作和多样化角色专业化来改善几何推理能力。
large language modelsgeometric reasoningconstructive geometric problem-solvingspatial relationshipsmulti-agents system
发现论文，激发创造
  • 大型语言模型在数学推理方面的进展与挑战

    数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的 LLM 技术范围、影响 LLMs 解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。

    Jan, 2024

  • GeomVerse：几何推理的大型模型的系统评估

    大语言模型在多步数学推理方面表现出色，但包含文字和图像的数学推理问题需要评估视觉语言模型的推理能力。通过几何问题的镜头，我们通过多个角度评估视觉语言模型的推理能力。我们创建了一个合成的几何问题数据集，具有可控的难度级别，从而进行系统评估。我们的基准测试结果表明，这些模型在几何等主题的推理能力上并不如先前的基准测试所暗示的那样出色，特别是通过我们基准测试的多个深度级别构建，因为解决更深的问题需要更长的推理链而不是额外的记忆知识。我们释放这个数据集供进一步研究使用。

    Dec, 2023

  • G-LLaVA：多模态大型语言模型解决几何问题

    利用图像输入，通过理解几何问题，使大型语言模型能够解决几何问题，构建了一个丰富的多模态几何数据集 Geo170K，发展了 G-LLaVA， 在 MathVista 基准测试上以仅有 7B 参数显著优于 GPT-4-V。

    Dec, 2023

  • 知识填字游戏：利用大型语言模型进行结构化知识的几何推理

    大型语言模型（LLMs）在知识密集型任务中被广泛采用，通过其知识能力取得了令人印象深刻的性能。本研究提出了结构化知识的几何推理，其中以图结构连接了多个知识片段，模型需要填补遗漏的信息。我们使用 Knowledge Crosswords 进行了广泛的实验来评估现有的 LLMs 提示方法，在此基准测试中，附加了两种新方法，即 Staged Prompting 和 Verify-All，以增强 LLMs 的回溯和验证结构性约束的能力。结果表明，虽然基准方法对于简单问题表现良好但在困难问题上表现不佳，我们提出的 Verify-All 方法在性能上大幅优于其他方法，并且对于困难问题更加稳健。进一步分析发现，LLMs 在结构化知识的几何推理能力仍然不够强大或完美，易受选项顺序、特定结构模式、假设存在正确答案等因素的影响。

    Oct, 2023

  • 面向关系推理的 LLMs：我们离目标有多远？

    通过对归纳逻辑编程基准测试的深入评估，本研究表明与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。

    Jan, 2024

  • 大型语言模型逻辑推理的教学学习

    通过对大型语言模型的研究，我们发现它们在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。为了解决这个问题，我们提出了多种策略，赋予大型语言模型逻辑推理能力，从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析，验证了通过逻辑训练大型语言模型的有效性和必要性，并为将来的工作提供了启示。

    Oct, 2023

  • LLMs 是否能够推理计算？

    利用分布式网络的 “归纳学习” 方法可以提高小型语言模型的推理能力，从而弥补其依赖统计模式容易产生错误答案的局限性，并可能使其逼近高参数模型在逻辑应用上所取得的水平，从而弥合人类和大型语言模型在各个领域之间的逻辑差距。

    Feb, 2024

  • 大型语言模型能否为空间推理任务创造新的知识？

    大型语言模型（LLMs）具有生成新信息的潜力，这对于研究和创新来说是一个潜在的重大突破。本文观察到 LLMs 能够对具有空间维度的问题进行复杂推理，这表明现有的 LLMs 能够达到相当程度的理解能力，支持其具有重要的新现象产生特性。特别地，Claude 3 在这方面表现良好。

    May, 2024

  • GraphLLM：提升大型语言模型的图推理能力

    通过将图学习模型与大型语言模型（LLMs）有机地融合，我们介绍了 GraphLLM，一种能够使 LLMs 能够熟练解释和推理图数据的先导性端到端方法，经过多个基础图推理任务的实证评估，结果展示了平均准确率提高 54.44％以及各种图推理任务中 96.45％的显著上下文减少。

    Oct, 2023

  • 大型语言模型能否将 2 和 2 相加？探测蕴含的数学关系

    大型语言模型在知识获取和统计推理方面取得了稳定进展，但在常识推理任务中仍存在局限性，纯统计学习难以应对其中的组合爆炸问题，更大并不总是更好，而且单纯追求统计改进只会加重正确答案与真正推理能力之间的危险混淆。

    Apr, 2024