EMNLPOct, 2023

StoryAnalogy: 从大型语言模型获取故事层面类比以解锁类比理解

PDF
TL;DR评估了通过构建首个大规模故事级类比语料库 StoryAnalogy 来识别和生成类比的能力，并发现类比识别任务对于句子嵌入模型和最近的大型语言模型（LLMs）都具有极高的挑战性。最终发现 StoryAnalogy 中的数据可以提高 LLMs 的类比生成质量，其中经过微调的 FlanT5-xxl 模型在零 - shot 情况下表现与 ChatGPT 相当。
analogy-makingnarrativesnatural language understandingstory-level analogy corpuslarge language models
发现论文，激发创造
  • 表层相似性之下：大型语言模型进行结构收缩后能够提出科学上合理的类比

    本文介绍了关于大型语言模型与人类类比推理的一些发现和研究，并提出了一种基于认知心理学的类比结构推断任务以及用于评估类比推理能力的 SCAR 基准测试集，实验结果表明，结合背景知识和解释的 CoT 方法可以显著提高 LLMs 在该任务上的表现。

    May, 2023

  • ANALOGICAL - 大语言模型长文本类比的新基准

    提出了一个新的基准测试，名为 ANALOGICAL，在长文本的类比上对大型语言模型（LLMs）进行内在评估。在使用 13 个数据集和 3 种不同距离度量进行评估的过程中，发现当上升类比分类学时，LLMs 越来越难以识别类比。

    May, 2023

  • 大型语言模型中类比识别与句子结构编码之间的关系探索

    通过分析发现，语言模型的类比识别能力与其编码句子的句法和语义结构的能力呈正相关。

    Oct, 2023

  • AnaloBench: 评估抽象与长文本上下文类比的鉴别能力

    用于评估语言模型中类比推理能力的基准模型 ANALOBENCH 可以从大量信息中回忆相关经验，并将类比推理应用于复杂和冗长的情景中。

    Feb, 2024

  • 预训练语言模型中的科学和创意类比

    本文研究了大规模预训练语言模型（如 BERT 和 GPT-2）中类比的编码。我们介绍了一个新的类比数据集（SCAN），包含跨不同领域的多个属性和关系结构的系统映射，测试了几种广泛使用的预训练语言模型（LMs）的类比推理能力。然后发现，最先进的 LMs 在这些复杂的类比任务中表现不佳，突出了类比理解仍然存在的挑战。

    Nov, 2022

  • 大型语言模型中的紧急类比推理

    本研究探讨了大型语言模型（比如 GPT-3）在模拟人类的模拟推理能力方面的表现，特别是它在没有直接训练的情况下是否能够进行零样本推理。研究发现，GPT-3 在抽象模式归纳方面具有出色的能力，并能够在大多数场景中匹配或超过人类的能力。因此，大型语言模型能够在许多类比问题中找到零样本解决方案。

    Dec, 2022

  • ANALOGYKB：使用百万级知识库开启语言模型的类比推理

    提出了一个基于知识图谱的百万级类比知识库 ANALOGYKB，能够发现两种类型的类比，成功地让模型在类比推理任务中超越了之前最先进的方法。

    May, 2023

  • 大型语言模型是否能像儿童一样解决词语类比问题？

    大语言模型通过关联性解决语言类比，类似于儿童的思维过程。

    Oct, 2023

  • chatGPT 生成的长篇比喻缺乏类人语言心理学特征

    本文利用心理语言学方法比较人类生成的文本和 chatGPT LLM 关于生物化学概念的类比句子，并使用监督式分类分析和层次聚类方法，从 78 个不同特征中区分两种生成方式之间的语言差异。

    Jun, 2023

  • 利用反事实任务评估大型语言模型的类比推理能力

    研究表明，尽管大型语言模型在类比推理方面表现出色，但它们缺乏人类类比能力的鲁棒性和普遍性。

    Feb, 2024