Feb, 2024

GeoEval：几何问题解决中评估 LLM 和多模型的基准

PDF
TL;DR最近的大型语言模型（LLMs）和多模态模型（MMs）在问题解决方面展示了卓越的能力，但它们在解决需要对文本和图像信息进行综合理解的几何数学问题方面的熟练程度尚未得到深入评估。为了填补这一空白，我们引入了 GeoEval 基准测试，它包括一个主子集、一个重点关注逆向推理的 750 个问题子集、一个增强的 2000 个问题子集和一个困难的 300 个问题子集。这个基准测试有助于更深入地研究 LLMs 和 MMs 在解决几何数学问题方面的性能。我们对这些不同子集中的十个 LLMs 和 MMs 进行评估，发现 WizardMath 模型表现出色，在主子集上的准确率达到 55.67％，但在困难子集上只有 6.00％的准确率。这突显了对模型进行在未经预训练的数据集上测试的重要性。此外，我们的研究结果表明，GPT 系列模型在它们重新表述的问题上表现更有效，这为增强模型能力提供了有希望的方法。
发现论文，激发创造
  • 推进几何问题求解：多模型评估的全面基准

    通过 MM-MATH 数据集，该研究旨在评估多模态模型在几何计算领域的性能，发现当前模型从图像中解析和解释几何信息存在显著不足，强调评估方法应包括推理和过程正确性，以填补文本和图像理解方面的关键差距，以此激发进一步研究和发展，推动多模态模型能力的提升。

    Apr, 2024

  • G-LLaVA：多模态大型语言模型解决几何问题

    利用图像输入，通过理解几何问题，使大型语言模型能够解决几何问题，构建了一个丰富的多模态几何数据集 Geo170K，发展了 G-LLaVA， 在 MathVista 基准测试上以仅有 7B 参数显著优于 GPT-4-V。

    Dec, 2023

  • LLM 们已经足够先进了吗？一个为大型语言模型提供挑战性问题解决基准的测试

    本文介绍了一个新的基准数据集 JEEBench，用于评估 Large Language Models 的问题解决能力，其中包含了 450 个有挑战性的预工程数学、物理和化学问题。本文对 GPT 系列模型进行了评估，发现即使使用 Self-Consistency 和 Chain-of-Thought prompting 等技术，GPT4 的最佳表现仍不到 40％，错误的代数运算和缺乏相关领域知识是造成表现不佳的主要原因。作者希望这个基准数据集能够引导未来使用 Large Language Models 进行问题解决的研究。

    May, 2023

  • 评估大型语言模型在几何和空间关系的文本描述中的有效性

    研究使用大型语言模型（LLMs）对几何形状及其空间关系进行表示的能力，并使用 GPT-2 和 BERT 等 LLMs 对几何形状的文本（WKT）格式进行编码，然后将其嵌入分类器和回归器中评估 LLMs 生成的嵌入表示对几何属性的效果。实验证明，尽管 LLMs 生成的嵌入可以保留几何类型并捕捉一些空间关系（准确率高达 73%），但在估计数值和检索空间相关对象方面仍存在挑战。此研究强调了在捕捉底层地理空间数据的细微差别和复杂性以及整合领域知识以支持各种基于 GeoAI 应用的需要改进的重要性。

    Jul, 2023

  • We-Math: 您的大型多模型是否实现了类人数学推理？

    WE-MATH 是第一个旨在探索问题解决原则的基准测试，通过分解复合问题，并引入新的四维度评估指标，评估了 LMMs 在视觉数学推理中的固有问题，为知识获取与泛化提供支持，评估现有 LMMs 在视觉数学推理中的表现，揭示了求解步骤与问题特定表现之间的负相关，并指出 GPT-4o 的主要挑战由不足的知识转变为不足的泛化。

    Jul, 2024

  • Mathify: 在数学问题求解任务上评估大型语言模型

    自然语言处理和大型语言模型在教育和指导方法领域取得了快速进展，特别在解决数学问题的应用方面，其中 MAmmoTH-13B 表现出了最高的能力水平，成为解决 NCERT 数学问题的可靠基准。

    Apr, 2024

  • 导航迷宫：评估和提高 LLMs 处理搜索问题的能力

    最近，大型语言模型在数学和推理基准测试中取得了令人瞩目的表现。但是，它们在对人类而言相对容易的逻辑问题和谜题上仍然经常遇到困难。为了进一步研究这个问题，我们引入了一个名为 SearchBench 的新基准测试，其中包含 11 种独特的搜索问题类型，每种问题类型都配备了自动化流程来生成任意数量的实例，并分析 LLM 生成解决方案的可行性、正确性和最优性。我们发现，即使是最先进的 LLM 也无法完全以文本方式解决这些问题，例如 GPT4 只解决了 1.4% 的问题。SearchBench 的问题要求考虑到多个解决路径以及回溯，这对自回归模型构成了重大挑战。指导 LLM 生成解决问题的代码会有所帮助，但是仅有轻微的改进，例如 GPT4 的表现提升到了 11.7%。在这项工作中，我们展示了利用 A * 算法实现的上下文学习如何提高性能。当将这种优化方法与我们提出的多阶段多尝试方法相结合时，它的潜力得到了充分展现，将 GPT-4 的表现提升到了 57% 以上。

    Jun, 2024

  • GeomVerse：几何推理的大型模型的系统评估

    大语言模型在多步数学推理方面表现出色，但包含文字和图像的数学推理问题需要评估视觉语言模型的推理能力。通过几何问题的镜头，我们通过多个角度评估视觉语言模型的推理能力。我们创建了一个合成的几何问题数据集，具有可控的难度级别，从而进行系统评估。我们的基准测试结果表明，这些模型在几何等主题的推理能力上并不如先前的基准测试所暗示的那样出色，特别是通过我们基准测试的多个深度级别构建，因为解决更深的问题需要更长的推理链而不是额外的记忆知识。我们释放这个数据集供进一步研究使用。

    Dec, 2023

  • MMEvalPro：多模态基准测试的可靠和高效评估

    通过提出 MMEvalPro 基准测试，我们针对多模态模型在视觉问题中的性能进行了评估的可靠性进行了改进，其结果表明该基准测试更具挑战性且更可信，为进一步推动未来研究提供了重要潜力。

    Jun, 2024

  • GraphEval2000: 在图数据集上评估和改进大型语言模型

    大型语言模型在自然语言处理方面取得了显著的成功，但最近的研究发现它们在处理图形结构数据的推理能力方面存在局限。为了填补这一空白，我们引入了 GraphEval2000，这是第一个包含 40 个图形数据结构问题和 2000 个测试用例的综合性图形数据集。此外，我们引入了基于 GraphEval2000 的评估框架，用于通过编码挑战评估 LLM 的图形推理能力。我们的数据集将测试用例分为四个主要类别和四个次要类别，确保全面评估。我们评估了八个流行的 LLM 在 GraphEval2000 上的表现，发现 LLM 在理解有向图方面比无向图更好。虽然私有 LLM 一直在超越开源模型，但性能差距正在缩小。此外，为了提高我们评估框架的可用性，我们提出了一种基于指令的方法 Structured Symbolic Decomposition（SSD），它旨在提高 LLM 在 GraphEval2000 上的性能。结果显示，SSD 在复杂图形问题上提高了 GPT-3.5、GPT-4 和 GPT-4o 的性能，分别增加了 11.11％、33.37％和 33.37％。

    Jun, 2024