本文介绍了关于大型语言模型与人类类比推理的一些发现和研究，并提出了一种基于认知心理学的类比结构推断任务以及用于评估类比推理能力的 SCAR 基准测试集，实验结果表明，结合背景知识和解释的 CoT 方法可以显著提高 LLMs 在该任务上的表现。

May, 2023

评估了通过构建首个大规模故事级类比语料库 StoryAnalogy 来识别和生成类比的能力，并发现类比识别任务对于句子嵌入模型和最近的大型语言模型（LLMs）都具有极高的挑战性。最终发现 StoryAnalogy 中的数据可以提高 LLMs 的类比生成质量，其中经过微调的 FlanT5-xxl 模型在零 - shot 情况下表现与 ChatGPT 相当。

Oct, 2023

人类学习和认知中的类比推理被认为是核心。最近的研究比较了人类与大型语言模型（LLMs）在抽象符号操作任务（如字母串类比）上的类比推理能力。然而，这些研究在对语义有意义的符号（如自然语言词汇）进行类比推理时基本上被忽略了。这种将语言与非语言领域相关联的类比能力，我们称之为语义结构映射，被认为在语言习得和更广泛的认知发展中起着关键作用。我们在要求从一个领域向另一个领域转移语义结构和内容的类比推理任务上对人类与 LLMs 进行了测试。先进的 LLMs 在许多任务变体上与人类表现相匹配。然而，人类和 LLMs 对某些任务变体和语义干扰有不同的反应。总的来说，我们的数据表明 LLMs 在这些重要的认知任务上正在接近人类水平的表现，但还不完全接近人类。

Jun, 2024

提出了一个新的基准测试，名为 ANALOGICAL，在长文本的类比上对大型语言模型（LLMs）进行内在评估。在使用 13 个数据集和 3 种不同距离度量进行评估的过程中，发现当上升类比分类学时，LLMs 越来越难以识别类比。

May, 2023

用于评估语言模型中类比推理能力的基准模型 ANALOBENCH 可以从大量信息中回忆相关经验，并将类比推理应用于复杂和冗长的情景中。

Feb, 2024

大语言模型通过关联性解决语言类比，类似于儿童的思维过程。

Oct, 2023

本文研究了大规模预训练语言模型（如 BERT 和 GPT-2）中类比的编码。我们介绍了一个新的类比数据集（SCAN），包含跨不同领域的多个属性和关系结构的系统映射，测试了几种广泛使用的预训练语言模型（LMs）的类比推理能力。然后发现，最先进的 LMs 在这些复杂的类比任务中表现不佳，突出了类比理解仍然存在的挑战。

Nov, 2022

使用熟悉的领域进行类比推理是智能的标志。本文研究大型语言模型在处理逐渐复杂的结构化文本中的类比时的表现，并讨论了四个不同复杂程度的类比：词汇类比、句法类比、语义类比和语用类比。为了解决这个问题，我们提出了结合统计和符号人工智能的神经符号 AI 技术的必要性，以强调和增强相关内容，并提供抽象和指导映射过程的无结构文本表示。我们的知识驱动方法保持了大型语言模型的高效性，同时保留了解释类比的能力，适用于教学应用。

Aug, 2023

论文提出” 基于向量空间模型（VSM）的无标注文本学习算法 “，应用于中学生常见 SAT 考试的语义类比题及名词修饰语语义关系分类中，取得了 47% 和 43.2% 的正确率，性能达到当时最高水平。

Aug, 2005

通过探究教师语言模型在理解科学概念方面创建的类比如何帮助学生语言模型，从而使其与实际场景更加紧密地对齐，本研究结果表明，自由形式的类比确实可以帮助语言模型理解概念，并且学生语言模型生成的类比可以提高它们在科学问题回答方面的性能，展示了它们利用类比进行自我学习新知识的能力。

Jun, 2024