大型语言模型中的紧急类比推理

Dec, 2022

Emergent Analogical Reasoning in Large Language Models

Taylor Webb, Keith J. Holyoak, Hongjing Lu

TL;DR本研究探讨了大型语言模型（比如 GPT-3）在模拟人类的模拟推理能力方面的表现，特别是它在没有直接训练的情况下是否能够进行零样本推理。研究发现，GPT-3 在抽象模式归纳方面具有出色的能力，并能够在大多数场景中匹配或超过人类的能力。因此，大型语言模型能够在许多类比问题中找到零样本解决方案。

Abstract

The recent advent of large language models has reinvigorated debate over whether human cognitive capacities might emerge in such generic models given sufficient training data. Of particular interest is the ability of these models to reason about novel problems zero-shot, without any di

large language models zero-shot reasoning analogical reasoning abstract pattern induction gpt-3

发现论文，激发创造

大规模语言模型中的紧急类比推理

作者在最近的《自然・人类行为》一文中论述大语言模型在具备模拟推理能力方面的鲜明特点，但我们的实验证明，GPT-3 无法解决最简单的变体问题，因此对于类似零样本推理的人类推理能力，需要更切实的证据以排除数据记忆的可能性。

Aug, 2023

大型语言模型的反事实任务证据支持紧急类比推理

最近的研究证明，大型语言模型能够以零样本的方式解决各种基于文本的类比问题，表明存在一种新兴的类比推理能力。最近的两篇评论对这些结果提出了质疑，引用了所谓的 ' 反事实 ' 任务的证据，其中标准的字母序列被任意改变，以减少与语言模型训练数据中可能存在的材料的相似性。在这里，我们回应这些批评，并澄清了关于我们原始工作中使用的测试材料的一些误解，并提供证据证明语言模型也能够推广到这些新的反事实任务变体。

Apr, 2024

使用预训练语言模型进行上下文类比推理

通过将人类语言与类比制造联系起来，我们使用大规模预训练的语言模型（PLMs）来支持人工智能系统的类比能力，将感知特征转换成语言形式，PLMs 展现出惊人的零 - shot 关系推理能力，并在 RPM 测试中接近监督的以视觉为基础的方法。

May, 2023

大型语言模型展示对新颖文学隐喻的演绎能力

通过评估 GPT-4，一个尖端的大型语言模型，在解释塞尔维亚诗歌中提取的新颖文学隐喻时所提供的自然语言解释能力，它未展现出之前接触过这些隐喻的迹象，但提供了详细而深刻的解释，被盲审的人员（不知道涉及 AI 模型的事实）将 GPT-4 生成的隐喻解释评为优于来自一组大学生的解释，这些结果表明 GPT-4 等大语言模型已经获得了解释复杂新颖隐喻的新兴能力。

Aug, 2023

利用反事实任务评估大型语言模型的类比推理能力

研究表明，尽管大型语言模型在类比推理方面表现出色，但它们缺乏人类类比能力的鲁棒性和普遍性。

Feb, 2024

人类与大型语言模型中的归纳推理

本文采用 GPT-3 和 GPT-4 模型对归纳推理问题进行研究，实验证明 GPT-4 在大多数情况下能够与人类归纳推理行为相匹配，但无法涵盖前提非单调的现象。

Jun, 2023

语言模型中出现的类人直觉行为和推理偏见 —— 以及 GPT-4 中的消失

本研究通过使用心理学方法，展示了大型语言模型（LLMs），尤其是 GPT-3，表现出类似于人类直觉的行为和认知错误，而具有更高认知能力的 LLMs，特别是 ChatGPT 和 GPT-4，学会避免这些错误，并表现出超理性的方式；此外，我们还探究了直觉决策倾向的稳定程度。

Jun, 2023

将大型语言模型与逻辑编程相结合，从文本中进行稳健和通用的推理

本研究探讨大型语言模型在自然语言推理任务上的表现。通过使用少量样本指导大型语言模型进行任务适应，以及可应用于多个任务的可重用的知识模块，结合逻辑形式输入的答案程序，实现了在多项 NLP 基准测试上的最新性能，包括 bAbI，StepGame，CLUTRR 和 gSCAN，并成功解决了机器人规划任务，而大型语言模型单独无法解决。

Jul, 2023

StoryAnalogy: 从大型语言模型获取故事层面类比以解锁类比理解

评估了通过构建首个大规模故事级类比语料库 StoryAnalogy 来识别和生成类比的能力，并发现类比识别任务对于句子嵌入模型和最近的大型语言模型（LLMs）都具有极高的挑战性。最终发现 StoryAnalogy 中的数据可以提高 LLMs 的类比生成质量，其中经过微调的 FlanT5-xxl 模型在零 - shot 情况下表现与 ChatGPT 相当。

Oct, 2023

语言模型可以学习类比推理吗？研究训练目标和与人类表现的比较

通过测试几种学习基本类比推理的方法，研究人员发现模型在少量数据情况下也能学习类比推理，并与人类基准数据集进行比较发现，经过训练后，模型接近人类表现。

Oct, 2023