May, 2023

使用预训练语言模型进行上下文类比推理

PDF
TL;DR通过将人类语言与类比制造联系起来，我们使用大规模预训练的语言模型（PLMs）来支持人工智能系统的类比能力，将感知特征转换成语言形式，PLMs 展现出惊人的零 - shot 关系推理能力，并在 RPM 测试中接近监督的以视觉为基础的方法。
analogical reasoningai systemslanguage-based abstractionspre-trained language modelsrelational reasoning
发现论文，激发创造
  • 大型语言模型中的紧急类比推理

    本研究探讨了大型语言模型（比如 GPT-3）在模拟人类的模拟推理能力方面的表现，特别是它在没有直接训练的情况下是否能够进行零样本推理。研究发现，GPT-3 在抽象模式归纳方面具有出色的能力，并能够在大多数场景中匹配或超过人类的能力。因此，大型语言模型能够在许多类比问题中找到零样本解决方案。

    Dec, 2022

  • 语言模型可以学习类比推理吗？研究训练目标和与人类表现的比较

    通过测试几种学习基本类比推理的方法，研究人员发现模型在少量数据情况下也能学习类比推理，并与人类基准数据集进行比较发现，经过训练后，模型接近人类表现。

    Oct, 2023

  • 学习如何在视觉对象上进行推理

    探究对象为中心的编码器和变换推理模块是否能提高图像推理任务的效果，并发现其比传统以 Raven 智力测试为基础的任务特定归纳偏见更全面适用。

    Mar, 2023

  • AnaloBench: 评估抽象与长文本上下文类比的鉴别能力

    用于评估语言模型中类比推理能力的基准模型 ANALOBENCH 可以从大量信息中回忆相关经验，并将类比推理应用于复杂和冗长的情景中。

    Feb, 2024

  • 基于知识的神经符号潜变空间类比推理

    本论文提出了一种结合神经网络的模式识别能力、符号推理和背景知识来解决类比推理问题的框架，并应用于 RAVEN 的递进矩阵上，取得了与人类表现有竞争力甚至更优秀的结果。

    Sep, 2022

  • ARN：故事类修辞推理的综合框架和数据集

    通过将认知心理学中的类比推理理论在叙述上进行计算适应，我们提出了类比叙事（ARN）数据集和一个大规模的评估框架，研究了不同抽象程度的类比、不类比之间的匹配。研究结果表明，当较高级别的映射缺乏较低级别的映射时（远类比），大语言模型难以识别；而当所有映射同时存在时（近类比），大语言模型的性能得到改善。我们观察到，在所有的设置中，大语言模型的类比推理能力容易受到与查询叙事形成较低级别映射的近干扰的影响。

    Oct, 2023

  • 通过对抽象关系结构进行对比学习制作类比

    该研究通过关注数据的选择和呈现方式，研究神经网络在感知和推理原始视觉数据时如何诱导类比推理能力，并发现最健壮的类比推理能力是通过在输入域中对抽象关系结构进行对比学习而诱导的。

    Jan, 2019

  • 对比学习感知推断

    本文探讨了如何通过心理学、认知科学和教育学的思想来设计和训练一个置换不变的模型，以提高机器在空间 / 时间推理方面的推理能力。通过 Contrastive Perceptual Inference network (CoPINet) 的实验，我们证明了它在两个主要数据集上设置了新的技术水平，从而提高了机器在思维空间 / 时间推理方面的能力。

    Nov, 2019

  • 通过概率类比映射进行零 - shot 视觉推理

    本文介绍了 VisiPAM（visual Probabilistic Analogical Mapping）的视觉推理模型，该模型综合了视觉推理和类比推理两种方法，使用从自然视觉输入中直接推导出的学习表示和源自人类推理认知理论的相似性映射操作，并且在类比映射任务上表现优于现有的深度学习模型。

    Sep, 2022

  • 预训练语言模型中的科学和创意类比

    本文研究了大规模预训练语言模型（如 BERT 和 GPT-2）中类比的编码。我们介绍了一个新的类比数据集（SCAN），包含跨不同领域的多个属性和关系结构的系统映射，测试了几种广泛使用的预训练语言模型（LMs）的类比推理能力。然后发现，最先进的 LMs 在这些复杂的类比任务中表现不佳，突出了类比理解仍然存在的挑战。

    Nov, 2022