Oct, 2023

ARN：故事类修辞推理的综合框架和数据集

PDF
TL;DR通过将认知心理学中的类比推理理论在叙述上进行计算适应，我们提出了类比叙事（ARN）数据集和一个大规模的评估框架，研究了不同抽象程度的类比、不类比之间的匹配。研究结果表明，当较高级别的映射缺乏较低级别的映射时（远类比），大语言模型难以识别；而当所有映射同时存在时（近类比），大语言模型的性能得到改善。我们观察到，在所有的设置中，大语言模型的类比推理能力容易受到与查询叙事形成较低级别映射的近干扰的影响。
analogical reasoningcognitive psychologyevaluation frameworknarrativesllms
发现论文，激发创造
  • 解决形态学类比问题：从检索到生成

    本文提出了一个深度学习框架来解决类比检测和解决两个关键问题，并在 morphological analogical proportions 数据集上进行了测试表明优于符号方法。文章总结了之前的研究，并结合了 ANNe 和 AE 嵌入模型。最终得出该模型在绝大多数情况下都优于其他方法，并提供了使用 DL 来处理类比问题的一般指南。

    Mar, 2023

  • 通过类比维度理解叙事

    本研究从认知科学研究成果出发，对类比推理的六个维度进行了规范，在寓言语料上进行了注释，并定义了四个任务来评估新型 AI 技术的可扩展性，实验结果显示现有的方法能够在有限的范围内推理类比，但需要进一步的研究来提高 AI 的综合性和可扩展性。

    Jun, 2022

  • 使用预训练语言模型进行上下文类比推理

    通过将人类语言与类比制造联系起来，我们使用大规模预训练的语言模型（PLMs）来支持人工智能系统的类比能力，将感知特征转换成语言形式，PLMs 展现出惊人的零 - shot 关系推理能力，并在 RPM 测试中接近监督的以视觉为基础的方法。

    May, 2023

  • 语言模型可以学习类比推理吗？研究训练目标和与人类表现的比较

    通过测试几种学习基本类比推理的方法，研究人员发现模型在少量数据情况下也能学习类比推理，并与人类基准数据集进行比较发现，经过训练后，模型接近人类表现。

    Oct, 2023

  • AnaloBench: 评估抽象与长文本上下文类比的鉴别能力

    用于评估语言模型中类比推理能力的基准模型 ANALOBENCH 可以从大量信息中回忆相关经验，并将类比推理应用于复杂和冗长的情景中。

    Feb, 2024

  • 通过对抽象关系结构进行对比学习制作类比

    该研究通过关注数据的选择和呈现方式，研究神经网络在感知和推理原始视觉数据时如何诱导类比推理能力，并发现最健壮的类比推理能力是通过在输入域中对抽象关系结构进行对比学习而诱导的。

    Jan, 2019

  • LLM 与人类类比推理中的语义结构映射

    人类学习和认知中的类比推理被认为是核心。最近的研究比较了人类与大型语言模型（LLMs）在抽象符号操作任务（如字母串类比）上的类比推理能力。然而，这些研究在对语义有意义的符号（如自然语言词汇）进行类比推理时基本上被忽略了。这种将语言与非语言领域相关联的类比能力，我们称之为语义结构映射，被认为在语言习得和更广泛的认知发展中起着关键作用。我们在要求从一个领域向另一个领域转移语义结构和内容的类比推理任务上对人类与 LLMs 进行了测试。先进的 LLMs 在许多任务变体上与人类表现相匹配。然而，人类和 LLMs 对某些任务变体和语义干扰有不同的反应。总的来说，我们的数据表明 LLMs 在这些重要的认知任务上正在接近人类水平的表现，但还不完全接近人类。

    Jun, 2024

  • StoryAnalogy: 从大型语言模型获取故事层面类比以解锁类比理解

    评估了通过构建首个大规模故事级类比语料库 StoryAnalogy 来识别和生成类比的能力，并发现类比识别任务对于句子嵌入模型和最近的大型语言模型（LLMs）都具有极高的挑战性。最终发现 StoryAnalogy 中的数据可以提高 LLMs 的类比生成质量，其中经过微调的 FlanT5-xxl 模型在零 - shot 情况下表现与 ChatGPT 相当。

    Oct, 2023

  • 基于知识的神经符号潜变空间类比推理

    本论文提出了一种结合神经网络的模式识别能力、符号推理和背景知识来解决类比推理问题的框架，并应用于 RAVEN 的递进矩阵上，取得了与人类表现有竞争力甚至更优秀的结果。

    Sep, 2022

  • 基于知识图谱的多模态类比推理

    本研究介绍了基于知识图谱的多模式类比推理任务，并通过构建 Multimodal Analogical Reasoning 数据集和 Multimodal knowledge graph MarKG 进行评估。研究表明，从多模态源获取信息可以带来比单模态源更强大的认知转移，该研究进一步提出了一种基于结构映射理论的新型通用 Transformer 框架（MarT），能够取得更好的性能。

    Oct, 2022