Dec, 2023

挑战LLMs的推理能力：揭示LLMs中的认知深度的基准测试

HTML
PDF
TL;DR我们引入了一种新颖的评估范式来评估大型语言模型，这种范式挑战了它们进行元推理。该方法解决了现有的数学问题解决基准测试中存在的关键缺陷，传统上用于评估代理的认知能力。我们的范式将重点从以结果为导向的评估转向更综合的评估，能够有效区分模型之间的认知能力。例如，在我们的基准测试中，GPT-4的性能比GPT3-5准确率高十倍。这种新范式的重要性在于它能够揭示当前基准测试（如GSM8K）未能发现的语言模型的潜在认知缺陷，这是由于它们的饱和度和在不同推理能力之间缺乏有效区分。我们的综合分析包括来自开源和闭源社区的几个最先进的数学模型，揭示了它们的训练和评估方法的根本缺陷。本文不仅主张在评估LLMs时进行范式转变，而且对于关于人工通用智能（AGI）的持续讨论也作出了贡献。通过推广类似于我们的元推理评估方法的采用，我们旨在促进对LLM真正认知能力的更准确评估。
发现论文，激发创造
  • LLM是否为万能大师？：探究LLM对领域无关推理技能

    本研究旨在探究大型语言模型在不同推理任务上的表现，并发现它们在类比和道德推理方面表现出色，而在空间推理任务方面则表现不佳。

    Mar, 2023

  • LLM们已经足够先进了吗？一个为大型语言模型提供挑战性问题解决基准的测试

    本文介绍了一个新的基准数据集 JEEBench，用于评估 Large Language Models 的问题解决能力，其中包含了 450 个有挑战性的预工程数学、物理和化学问题。本文对 GPT 系列模型进行了评估，发现即使使用 Self-Consistency 和 Chain-of-Thought prompting 等技术，GPT4 的最佳表现仍不到 40％，错误的代数运算和缺乏相关领域知识是造成表现不佳的主要原因。作者希望这个基准数据集能够引导未来使用 Large Language Models 进行问题解决的研究。

    May, 2023

  • 大型语言模型在数学推理方面的进展与挑战

    数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的LLM技术范围、影响LLMs解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。

    Jan, 2024

  • LLMs数学推理中的数据能力边界的实证研究

    通过识别推理路径的最佳集合来确定推理路径增强的能力边界，通过不同类型的数据的最佳集合的混合来累积增强模型的不同能力，以较低的建设成本实现SOTA性能，并提供用于鲁棒性测试和教育应用的自动问题生成器。

    Feb, 2024

  • LLM的元认知能力：数学问题解决探索

    这篇论文研究了最新的语言模型（LLMs）在数学推理中所具备的元认知知识，包括能够给数学问题分配合理的技能标签，并通过语义聚类获取更粗略的技能标签。通过相关实验，验证了这些技能标签对LLMs的推理过程的意义和相关性。

    May, 2024

  • LLM 不是智能思考者：引入数学主题树基准评估来全面评估 LLMs

    大语言模型在数学推理方面展示了令人印象深刻的能力，但目前的评估仅限于特定的数学主题，不清楚大语言模型是否真正参与了推理。为了填补这些研究空白，我们提出了数学主题树（MaTT）基准，这是一个具有挑战性和结构化的基准，提供了1,958个关于各种数学学科的问题，并配以详细的层级链。通过使用MaTT基准评估不同的大语言模型，我们发现最先进的模型GPT-4在多项选择场景下仅达到54％的准确度。有趣的是，即使在使用思维链提示的情况下，我们也几乎没有观察到明显的改进。此外，当问题在没有可选项的情况下提供时，大语言模型的准确度显著下降了24.2个百分点。对于一系列主题的大语言模型的详细性能分析表明，即使是在相同的数学领域中的紧密相关子主题之间，也存在显着差异。为了找出大语言模型性能背后的原因，当有可选项时，我们对GPT-4生成的解释的完整性和准确性进行了手动评估。令人惊讶的是，在模型提供正确答案的情况下，只有53.3％的解释被认为是完整和准确的，即模型进行了真正的推理。

    Jun, 2024

  • 评估拉马大型语言模型的新兴符号推理能力

    大型语言模型在各种任务中取得了令人印象深刻的表现，即使它们通常只是为了与用户流畅聊天而训练。本文系统地研究了流行的开源大型语言模型在不同符号推理任务上的能力和局限性。我们评估了Llama 2家族的三个模型在两个需要解决不同难度数学公式的数据集上。我们测试了一个通用的大型语言模型（Llama 2 Chat）以及两个专门设计用于解决数学问题的经过微调的Llama 2版本（MAmmoTH和MetaMath）。我们观察到，增加模型规模并在相关任务上进行微调可以显著提高性能。此外，通过使用细粒度的评估指标，我们发现这种性能提升主要出现在复杂度较低的数学公式上，尽管对于最大的经过微调的模型来说，这些公式通常仍然具有一定挑战性。

    Jun, 2024

  • 大规模语言模型在数学推理任务中的基准测试

    该研究解决了现有的大规模语言模型在数学推理任务中缺乏全面基准测试的问题。通过比较七种最先进的学习算法在五个广泛使用的数学数据集上的表现，研究揭示了大型基础模型在数学推理中的独立性能及其效率与效果之间的权衡。研究结果为教育等实际应用提供了重要的指导。

    Aug, 2024

  • GSM-Symbolic：理解大型语言模型中数学推理的局限性

    本研究针对大型语言模型（LLMs）在数学推理能力上的不足，通过引入GSM-Symbolic基准，解决了现有评估的局限性，提供了更可靠的度量指标。研究发现，尽管LLMs在GSM8K基准测试上表现改进，但其真实的数学推理能力仍然不佳，特别是在问题中添加额外条款时性能急剧下降。这一发现为理解LLMs的能力和限制提供了新的视角。

    Oct, 2024

  • 大型语言模型的天才悖论：语言和数学专家在简单基于词的计数问题上的挣扎

    本研究针对大型语言模型（LLM）在简单的计数任务上表现不佳的问题进行了探讨，并设计了多种评估设置来验证现有的理论假设。研究发现，这一缺陷并非源于模型的固有缺陷，而是通过合理的推理过程可以有效改善LLM在计数任务中的表现，呼吁更多关注模型能力获取与评估的重要性。

    Oct, 2024