Dec, 2022

True Detective: 深度 Abductive Reasoning 基础模型的挑战性基准测试

PDF
TL;DR本研究提出了一项包含 191 个长篇神秘故事的基准测试，旨在评估大型语言模型在推理方面的性能，结果显示最新的 GPT 模型在这一基准测试中的正确率为 28％，而人类的正确率为 47％，这表明大型语言模型在推理能力方面仍存在显著差距。
large language modelsabductive reasoningbenchmarkgpt modelshuman solvers
发现论文，激发创造
  • DetectBench: 大型语言模型能否检测并拼凑隐含证据？

    本文提出了一个称为 DetectBench 的基准测试，旨在验证检测和组合长篇背景中的隐含证据的能力，并通过提出的 Detective Reasoning Prompt 和 Finetune 方法增强 LLMs 在证据检测中的性能。实验证明，现有 LLMs 在长篇背景中检测证据的能力远远不及人类，但 Detective Reasoning Prompt 有效地增强了强大 LLMs 的证据检测能力，而 Finetuning 方法显著提高了较弱 LLMs 的性能。此外，当提高 LLMs 在证据检测中的能力时，它们的最终推理性能也相应增强。

    Jun, 2024

  • GPT-4 语言模型的诱因推理：刑侦、医疗实践和科学研究的案例研究

    本研究评估了 GPT-4 大型语言模型在医学诊断、犯罪学和宇宙学等复杂领域中的推理能力。通过交互式面试形式，该 AI 助手展示了在生成和选择假设方面的可靠性。它基于病人数据推测出可行的医学诊断，并在犯罪学和宇宙学领域提供了潜在的原因和解释。研究结果突出了 LLM 在复杂问题解决方面的潜力，并强调了进一步研究以最大化它们实际应用的必要性。

    Jul, 2023

  • 挑战 LLMs 的推理能力：揭示 LLMs 中的认知深度的基准测试

    我们引入了一种新颖的评估范式来评估大型语言模型，这种范式挑战了它们进行元推理。该方法解决了现有的数学问题解决基准测试中存在的关键缺陷，传统上用于评估代理的认知能力。我们的范式将重点从以结果为导向的评估转向更综合的评估，能够有效区分模型之间的认知能力。例如，在我们的基准测试中，GPT-4 的性能比 GPT3-5 准确率高十倍。这种新范式的重要性在于它能够揭示当前基准测试（如 GSM8K）未能发现的语言模型的潜在认知缺陷，这是由于它们的饱和度和在不同推理能力之间缺乏有效区分。我们的综合分析包括来自开源和闭源社区的几个最先进的数学模型，揭示了它们的训练和评估方法的根本缺陷。本文不仅主张在评估 LLMs 时进行范式转变，而且对于关于人工通用智能（AGI）的持续讨论也作出了贡献。通过推广类似于我们的元推理评估方法的采用，我们旨在促进对 LLM 真正认知能力的更准确评估。

    Dec, 2023

  • LLM 们已经足够先进了吗？一个为大型语言模型提供挑战性问题解决基准的测试

    本文介绍了一个新的基准数据集 JEEBench，用于评估 Large Language Models 的问题解决能力，其中包含了 450 个有挑战性的预工程数学、物理和化学问题。本文对 GPT 系列模型进行了评估，发现即使使用 Self-Consistency 和 Chain-of-Thought prompting 等技术，GPT4 的最佳表现仍不到 40％，错误的代数运算和缺乏相关领域知识是造成表现不佳的主要原因。作者希望这个基准数据集能够引导未来使用 Large Language Models 进行问题解决的研究。

    May, 2023

  • 大型语言模型仍无法规划 (面向规划和变化推理的 LLM 基准测试)

    该研究提出了一种可扩展的评估框架来测试 LLMs 在行动和变化推理方面的能力，从而证明现有的推理基准测试是简单化的，无法支持关于 LLMs 推理能力的夸张的说法，并展示了 GPT-3、Instruct-GPT3 和 BLOOM 对这些任务的表现不佳。

    Jun, 2022

  • 评估大型语言模型的推理能力

    大型语言模型（LLMs）的发展促使人们对其推理和问题解决能力产生了更大的兴趣。本研究调查了几种 LLMs 是否能够解决认知科学文献中一种经典类型的演绎推理问题。研究发现，这些被测试的 LLMs 在传统形式上解决这些问题的能力有限。我们进行了后续实验，探究了更改展示格式和内容是否能改善模型性能。尽管我们发现了条件之间的绩效差异，但总体性能并未提高。此外，我们还发现性能与展示格式和内容以出人意料的方式相互作用，与人类表现有所不同。总的来说，我们的结果表明 LLMs 具有独特的推理偏见，其只能部分预测人类的推理表现。

    Sep, 2023

  • 利用大语言模型的推理解谜：一项调查研究

    对大型语言模型（LLMs）在解谜方面的能力进行探索，揭示了它们在人工智能中的潜力和挑战，这是对其在复杂推理任务中适用性的重要一步。通过将谜题分为基于规则和非规则两类的独特分类法，该调查通过各种方法论（包括提示技术、神经符号方法和微调）对 LLMs 进行了批判性评估。通过对相关数据集和基准的批判性回顾，我们评估了 LLMs 在复杂谜题情景中的表现，发现其在需要高级逻辑推理的领域与人类推理能力存在显著差距。该调查强调了需要新的策略和更丰富数据集来提升 LLMs 在解谜方面的熟练度，并为 AI 的逻辑推理和创造性问题解决的进展做出贡献。

    Feb, 2024

  • 现实中的爱丽丝奇境：显示顶尖大型语言模型完整推理过程的简单任务

    大型语言模型在各种任务和条件中以零样本或零曝光的方式表现出色，但我们的研究发现在某些基本推理能力上表现出严重的缺陷，需要迅速重新评估当前一代 LLM 的所声称的能力，并创建新的标准评测以发现这些明显被当前评测方法忽视的基本推理缺陷。

    Jun, 2024

  • 导航迷宫：评估和提高 LLMs 处理搜索问题的能力

    最近，大型语言模型在数学和推理基准测试中取得了令人瞩目的表现。但是，它们在对人类而言相对容易的逻辑问题和谜题上仍然经常遇到困难。为了进一步研究这个问题，我们引入了一个名为 SearchBench 的新基准测试，其中包含 11 种独特的搜索问题类型，每种问题类型都配备了自动化流程来生成任意数量的实例，并分析 LLM 生成解决方案的可行性、正确性和最优性。我们发现，即使是最先进的 LLM 也无法完全以文本方式解决这些问题，例如 GPT4 只解决了 1.4% 的问题。SearchBench 的问题要求考虑到多个解决路径以及回溯，这对自回归模型构成了重大挑战。指导 LLM 生成解决问题的代码会有所帮助，但是仅有轻微的改进，例如 GPT4 的表现提升到了 11.7%。在这项工作中，我们展示了利用 A * 算法实现的上下文学习如何提高性能。当将这种优化方法与我们提出的多阶段多尝试方法相结合时，它的潜力得到了充分展现，将 GPT-4 的表现提升到了 57% 以上。

    Jun, 2024

  • 竞赛级问题对 LLMs 的有效性评估

    评估大语言模型在 Codeforces 编程问题上的推理能力，发现了潜在的数据污染问题，并探索了多种方法来解决这些挑战，强调了评估 LLMs 真正推理能力的重要性和未来更强大推理能力和更好泛化性能的发展。

    Dec, 2023