Jul, 2022

语言模型对推理的人类内容效应展示

PDF
TL;DR大型语言模型在抽象推理任务上表现优秀，但与人类推理问题存在相似的缺陷，同时受到人类知识和信仰的影响，使用可信的现实情境方案进行推理可以提高推理质量，这种关联性帮助我们了解认知效应和语言模型表现的因素。
发现论文，激发创造
  • 大型语言模型不是抽象推理器

    本论文评估了最新的 Large Language Models 在抽象推理任务上的表现，并发现它们相比于其他自然语言处理任务的表现非常有限。作者探讨了这种差异的原因，并提出了一个新的基准，用于评估自然语言处理中的抽象推理任务。

    May, 2023

  • 语言模型中的概念和公正推理

    我们提出了一个新的概念化框架，迫使模型在抽象问题上进行概念推理并在可验证的符号空间中生成解决方案，使用这个框架作为分析工具，我们发现现有的大型语言模型在概念推理方面存在不足，并通过引入可信的归纳信号来改善模型的概念推理性能，实验证明我们提出的技术使模型的概念推理性能提高了 8% 至 11%，实现了一个更强大的推理系统，更少地依赖归纳偏见。

    Mar, 2024

  • 有意义的学习：通过通用事实指导提升大型语言模型的抽象推理能力

    我们设计了一个初步的研究，以量化和深入探讨现有大型语言模型的抽象推理能力。我们的结果显示，我们的方法不仅提高了大型语言模型的一般推理性能，而且在抽象推理能力方面取得了可观的进展，从简单的记忆或模仿转向了更加精细的对通用事实的理解和应用。

    Mar, 2024

  • 大语言模型的推理能力：一项调查

    本文综述了大型语言模型在推理方面的最新研究，包括提高它们的推理能力的方法、评估它们的推理能力的基准和方法，以及这一领域之前研究的发现和意义，旨在激发有意义的讨论和未来的研究。

    Dec, 2022

  • 大型语言模型的推理能力：对抽象与推理语料库的深度分析

    利用 Abstract and Reasoning Corpus 数据集的新方法，我们评估了大型语言模型的推理和上下文理解能力，结果表明虽然大型语言模型具有薄弱的推理能力，但在逻辑连贯性、组合性和生产力方面仍然落后于人类，我们的实验突显了 LLM 的推理能力，并提出了实现人类级别推理的发展路径。

    Mar, 2024

  • 人类与语言模型中演绎推理的系统比较

    语言模型在逻辑推理中能够模仿人类偏见，并在某些情况下克服它们。

    Nov, 2023

  • 推理还是背诵？通过反事实任务探索语言模型的能力和限制

    该研究旨在研究当前语言模型的抽象推理能力，提出一种基于 “反事实” 任务变体的评估框架，在一系列 11 项任务中观察到对反事实变体的表现，但表明当前语言模型的表现往往会严重且一致地降级，提示需要更加仔细地解释语言模型的表现。

    Jul, 2023

  • 假设搜索：利用语言模型进行归纳推理

    通过产生多个抽象假设并将其转化为具体的 Python 程序，进而为大型语言模型提高归纳推理能力，并利用自动生成的摘要或人工筛选的候选集来过滤生成的程序，从而在归纳推理任务中实现更高的准确性。

    Sep, 2023

  • 超越准确性：评估大型语言模型的推理行为 -- 调查研究

    大型语言模型在推理任务中表现出色，但是它们的推理能力深度尚不确定。本文通过综述超越任务准确性的研究，深入探讨模型的推理过程，并调查评估语言模型推理行为的方法，发现其依赖于训练数据的表面模式和相关性，而非真正的推理能力。同时，我们指出需要进一步研究人类推理与语言模型推理之间的关键差异。通过此综述，我们旨在揭示大型语言模型内部复杂的推理过程。

    Apr, 2024

  • 利用关系抽象进行推理的学习

    本文介绍了一种利用关系抽象概念来帮助大型语言模型在数学推理方面提高的新方法，并发现将这种序列用作提示可使模型具有更强的推理能力，特别是在需要执行多步任务的情况下。

    Oct, 2022