潜在关系映射引擎:算法与实验
人类认知的核心能力之一是类比;在面对新的情境时,我们经常将先前的经验从其他领域转化过来。多数关于计算类比的研究主要依赖于复杂的、手工制作的输入。本研究通过减少输入要求,只需要对实体进行映射,自动提取常识表示并将其用于实体之间的映射。与以往的工作不同,我们的框架能够处理部分类比并提出新的实体添加。此外,我们的方法的输出易于解释,允许用户理解为什么选择了特定的映射。实验证明,我们的模型能够正确映射 81.2% 的典型的 2x2 类比问题(猜测水平 = 50%)。在更大的问题上,它的准确率达到 77.8%(平均猜测水平 = 13.1%)。在另一个实验中,我们展示了我们的算法优于人类表现,并且自动提出的新实体与人类的建议类似。我们希望这项工作能通过为更灵活、更现实的输入要求铺平道路来推动计算类比的发展。
Nov, 2023
人类学习和认知中的类比推理被认为是核心。最近的研究比较了人类与大型语言模型(LLMs)在抽象符号操作任务(如字母串类比)上的类比推理能力。然而,这些研究在对语义有意义的符号(如自然语言词汇)进行类比推理时基本上被忽略了。这种将语言与非语言领域相关联的类比能力,我们称之为语义结构映射,被认为在语言习得和更广泛的认知发展中起着关键作用。我们在要求从一个领域向另一个领域转移语义结构和内容的类比推理任务上对人类与 LLMs 进行了测试。先进的 LLMs 在许多任务变体上与人类表现相匹配。然而,人类和 LLMs 对某些任务变体和语义干扰有不同的反应。总的来说,我们的数据表明 LLMs 在这些重要的认知任务上正在接近人类水平的表现,但还不完全接近人类。
Jun, 2024
本文介绍了隐含关系分析(LRA)的方法,其是一种测量语义相似性的方法,通过将两个词对之间的语义关系相似性传达为向量的角度余弦计算两个词对的相似性。LRA 通过从语料库中自动提取模式,使用奇异值分解来平滑频率数据,并使用同义词重构词对,从而扩展 VSM 方法。在两个任务(多项选择词类比问题和分类名词修饰语的语义关系)中,LRA 取得了最先进的结果,并在类比问题上达到了人类水平的性能,同时显着超过了 VSM 在这两个任务上的性能。
Aug, 2005
通过将人类语言与类比制造联系起来,我们使用大规模预训练的语言模型(PLMs)来支持人工智能系统的类比能力,将感知特征转换成语言形式,PLMs 展现出惊人的零 - shot 关系推理能力,并在 RPM 测试中接近监督的以视觉为基础的方法。
May, 2023
本文介绍了关于大型语言模型与人类类比推理的一些发现和研究,并提出了一种基于认知心理学的类比结构推断任务以及用于评估类比推理能力的 SCAR 基准测试集,实验结果表明,结合背景知识和解释的 CoT 方法可以显著提高 LLMs 在该任务上的表现。
May, 2023
本文介绍了一种测量关联相似性的方法 —— 潜在关联分析(LRA),该方法在信息提取、词义消岐和信息检索等领域具有潜在应用价值,并且与人类平均水平相当地达到了 374 个类比问题的 56% 的得分,同时,在语义关系分类的问题上,LRA 较 VSM 也取得了相似的增益。
Aug, 2006
论文提出” 基于向量空间模型(VSM)的无标注文本学习算法 “,应用于中学生常见 SAT 考试的语义类比题及名词修饰语语义关系分类中,取得了 47% 和 43.2% 的正确率,性能达到当时最高水平。
Aug, 2005
用于评估语言模型中类比推理能力的基准模型 ANALOBENCH 可以从大量信息中回忆相关经验,并将类比推理应用于复杂和冗长的情景中。
Feb, 2024
通过学习较简单的 “问题模式” 结构表示,并结合众包和递归神经网络从产品描述中提取目的和机制向量表示,使我们在寻找类比时可以比传统信息检索方法获得更高的精确度和召回率,在创意发想实验中,模型检索的类比与传统方法相比, 显著提高了人们产生创造性想法的可能性,这一结果表明,在许多大规模的现实生活情境下,学习和利用较弱的结构表示是实现计算类比的一种很有前途的方法。
Jun, 2017
本文研究了大规模预训练语言模型(如 BERT 和 GPT-2)中类比的编码。我们介绍了一个新的类比数据集(SCAN),包含跨不同领域的多个属性和关系结构的系统映射,测试了几种广泛使用的预训练语言模型(LMs)的类比推理能力。然后发现,最先进的 LMs 在这些复杂的类比任务中表现不佳,突出了类比理解仍然存在的挑战。
Nov, 2022