Apr, 2024

相关还是随机：LLMs 是否能够真正进行类比推理？

PDF
TL;DR自动生成的相关示例对大规模语言模型（LLM）在类比推理任务中的性能具有非常可观的提升效果，并存在重要因素影响其准确性，研究者设计了两种改进方法以降低推理成本。
analogical reasoningrelevancenlplarge language modelsself-generated examples
发现论文，激发创造
  • LLM 是否为万能大师？：探究 LLM 对领域无关推理技能

    本研究旨在探究大型语言模型在不同推理任务上的表现，并发现它们在类比和道德推理方面表现出色，而在空间推理任务方面则表现不佳。

    Mar, 2023

  • LLM 与人类类比推理中的语义结构映射

    人类学习和认知中的类比推理被认为是核心。最近的研究比较了人类与大型语言模型（LLMs）在抽象符号操作任务（如字母串类比）上的类比推理能力。然而，这些研究在对语义有意义的符号（如自然语言词汇）进行类比推理时基本上被忽略了。这种将语言与非语言领域相关联的类比能力，我们称之为语义结构映射，被认为在语言习得和更广泛的认知发展中起着关键作用。我们在要求从一个领域向另一个领域转移语义结构和内容的类比推理任务上对人类与 LLMs 进行了测试。先进的 LLMs 在许多任务变体上与人类表现相匹配。然而，人类和 LLMs 对某些任务变体和语义干扰有不同的反应。总的来说，我们的数据表明 LLMs 在这些重要的认知任务上正在接近人类水平的表现，但还不完全接近人类。

    Jun, 2024

  • 利用反事实任务评估大型语言模型的类比推理能力

    研究表明，尽管大型语言模型在类比推理方面表现出色，但它们缺乏人类类比能力的鲁棒性和普遍性。

    Feb, 2024

  • AnaloBench: 评估抽象与长文本上下文类比的鉴别能力

    用于评估语言模型中类比推理能力的基准模型 ANALOBENCH 可以从大量信息中回忆相关经验，并将类比推理应用于复杂和冗长的情景中。

    Feb, 2024

  • 使用预训练语言模型进行上下文类比推理

    通过将人类语言与类比制造联系起来，我们使用大规模预训练的语言模型（PLMs）来支持人工智能系统的类比能力，将感知特征转换成语言形式，PLMs 展现出惊人的零 - shot 关系推理能力，并在 RPM 测试中接近监督的以视觉为基础的方法。

    May, 2023

  • 语言模型可以学习类比推理吗？研究训练目标和与人类表现的比较

    通过测试几种学习基本类比推理的方法，研究人员发现模型在少量数据情况下也能学习类比推理，并与人类基准数据集进行比较发现，经过训练后，模型接近人类表现。

    Oct, 2023

  • 大型语言模型逻辑推理的教学学习

    通过对大型语言模型的研究，我们发现它们在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。为了解决这个问题，我们提出了多种策略，赋予大型语言模型逻辑推理能力，从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析，验证了通过逻辑训练大型语言模型的有效性和必要性，并为将来的工作提供了启示。

    Oct, 2023

  • 面向关系推理的 LLMs：我们离目标有多远？

    通过对归纳逻辑编程基准测试的深入评估，本研究表明与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。

    Jan, 2024

  • 流体变压器与创意类比：探索大型语言模型在增强跨领域类比创造力方面的能力

    本文系统地探讨了 LLMs 增强跨领域类比推理的能力，研究表明 LLM 生成的跨领域类比常常被认为是有帮助的，并且在问题形式化的过程中往往会引发重要的变化，并且存在潜在的风险，如可能引起不适的内容。

    Feb, 2023

  • ARN：故事类修辞推理的综合框架和数据集

    通过将认知心理学中的类比推理理论在叙述上进行计算适应，我们提出了类比叙事（ARN）数据集和一个大规模的评估框架，研究了不同抽象程度的类比、不类比之间的匹配。研究结果表明，当较高级别的映射缺乏较低级别的映射时（远类比），大语言模型难以识别；而当所有映射同时存在时（近类比），大语言模型的性能得到改善。我们观察到，在所有的设置中，大语言模型的类比推理能力容易受到与查询叙事形成较低级别映射的近干扰的影响。

    Oct, 2023