Jun, 2024

LLM 与人类类比推理中的语义结构映射

PDF
TL;DR人类学习和认知中的类比推理被认为是核心。最近的研究比较了人类与大型语言模型（LLMs）在抽象符号操作任务（如字母串类比）上的类比推理能力。然而，这些研究在对语义有意义的符号（如自然语言词汇）进行类比推理时基本上被忽略了。这种将语言与非语言领域相关联的类比能力，我们称之为语义结构映射，被认为在语言习得和更广泛的认知发展中起着关键作用。我们在要求从一个领域向另一个领域转移语义结构和内容的类比推理任务上对人类与 LLMs 进行了测试。先进的 LLMs 在许多任务变体上与人类表现相匹配。然而，人类和 LLMs 对某些任务变体和语义干扰有不同的反应。总的来说，我们的数据表明 LLMs 在这些重要的认知任务上正在接近人类水平的表现，但还不完全接近人类。
发现论文，激发创造
  • 表层相似性之下：大型语言模型进行结构收缩后能够提出科学上合理的类比

    本文介绍了关于大型语言模型与人类类比推理的一些发现和研究，并提出了一种基于认知心理学的类比结构推断任务以及用于评估类比推理能力的 SCAR 基准测试集，实验结果表明，结合背景知识和解释的 CoT 方法可以显著提高 LLMs 在该任务上的表现。

    May, 2023

  • 为何需要神经符号人工智能模型来建模实用类比？

    使用熟悉的领域进行类比推理是智能的标志。本文研究大型语言模型在处理逐渐复杂的结构化文本中的类比时的表现，并讨论了四个不同复杂程度的类比：词汇类比、句法类比、语义类比和语用类比。为了解决这个问题，我们提出了结合统计和符号人工智能的神经符号 AI 技术的必要性，以强调和增强相关内容，并提供抽象和指导映射过程的无结构文本表示。我们的知识驱动方法保持了大型语言模型的高效性，同时保留了解释类比的能力，适用于教学应用。

    Aug, 2023

  • 相关还是随机：LLMs 是否能够真正进行类比推理？

    自动生成的相关示例对大规模语言模型（LLM）在类比推理任务中的性能具有非常可观的提升效果，并存在重要因素影响其准确性，研究者设计了两种改进方法以降低推理成本。

    Apr, 2024

  • 大型语言模型中类比识别与句子结构编码之间的关系探索

    通过分析发现，语言模型的类比识别能力与其编码句子的句法和语义结构的能力呈正相关。

    Oct, 2023

  • LLM 是否为万能大师？：探究 LLM 对领域无关推理技能

    本研究旨在探究大型语言模型在不同推理任务上的表现，并发现它们在类比和道德推理方面表现出色，而在空间推理任务方面则表现不佳。

    Mar, 2023

  • 通过问答探究语言模型对结构化语义理解和生成的能力

    最近大规模语言模型能力的进步引发了对其评估的新浪潮，这篇研究工作通过在自然语言和形式语言之间的相互转换来验证大规模语言模型理解和生成结构化逻辑形式的能力，实验证明现今最先进的大规模语言模型在理解逻辑形式方面整体上接近人类水平，但在生成正确逻辑形式方面仍有改进的空间，使用大规模语言模型生成更自然的语言训练数据以增强小型模型的效果更好，同时结果还表明模型对不同形式语言表现出显著的敏感性，总体而言，形式化程度较低、更接近自然语言的形式语言对大规模语言模型更友好。

    Jan, 2024

  • 大型语言模型是上下文语义推理者而非符号推理者

    本文研究了大型语言模型 LLMs 的推理能力，通过对语义从推理过程中的剥离进行实验，发现语义在 LLMs 的推理中起着至关重要的作用，但在符号逻辑和违反常识的推理任务中表现出困难。作者提出了这一发现的新视角，并呼吁深入研究 LLMs 的推理机制。

    May, 2023

  • 使用预训练语言模型进行上下文类比推理

    通过将人类语言与类比制造联系起来，我们使用大规模预训练的语言模型（PLMs）来支持人工智能系统的类比能力，将感知特征转换成语言形式，PLMs 展现出惊人的零 - shot 关系推理能力，并在 RPM 测试中接近监督的以视觉为基础的方法。

    May, 2023

  • 更好地了解您的需求：利用类比推理增强的结构化市场营销人员需求理解模型

    我们提出了 ARALLM（即类比推理增强的大型语言模型），包括两个模块：基于类比推理的提示和推理增强多任务模型蒸馏。

    Jan, 2024

  • 大型语言模型能像人类一样解决 ARC 视觉类比问题吗？

    通过比较人类和大型语言模型（LLM）在一组新的儿童友好的 Abstraction Reasoning Corpus（ARC）项目上的表现，发现在 LLMs 和年幼儿童中有类似的 “fallback” 解决策略，并发现了两种其他错误类型，一种基于似乎掌握关键概念，另一种基于类比输入矩阵的简单组合。这项研究揭示了 LLM 的推理能力以及我们可以利用错误分析和与人类发展的比较来理解 LLMs 如何解决视觉类比问题。

    Mar, 2024