- LLM 与人类类比推理中的语义结构映射
人类学习和认知中的类比推理被认为是核心。最近的研究比较了人类与大型语言模型(LLMs)在抽象符号操作任务(如字母串类比)上的类比推理能力。然而,这些研究在对语义有意义的符号(如自然语言词汇)进行类比推理时基本上被忽略了。这种将语言与非语言领 - 提升科学概念理解能力:教师模型的类比能否增强学生模型?
通过探究教师语言模型在理解科学概念方面创建的类比如何帮助学生语言模型,从而使其与实际场景更加紧密地对齐,本研究结果表明,自由形式的类比确实可以帮助语言模型理解概念,并且学生语言模型生成的类比可以提高它们在科学问题回答方面的性能,展示了它们利 - 类比比例 II
通过引入抽象的代数框架,进一步发展类比比例的数学理论,以应用于人工智能中的逻辑程序合成。
- ACLARAIDA:模拟推理增强的交互式数据标注
Araida 是一种基于类比推理的方法,可以提高交互式数据注释的自动注释准确性,并减少人工校正的需求,通过动态协调注释模型和最近邻(KNN)模型,显著减少人工校正劳动力。
- 模拟学者:具有图像扩散模型的即刻视觉环境学习
通过使用在图像修复中预训练的文本到图像扩散模型,我们提出了 Analogist 作为一种新颖的推理型视觉上下文学习方法,旨在利用视觉和文本提示技术,提高任务的泛化能力和上下文感知能力,从而在各种视觉任务中取得优越性能。
- 人工智能通用化(AGI-Native)无线系统:逾越 6G 之旅
提出了 AI 本地化无线系统的概念,通过赋予其必要的常识,向人工通用智能系统转化。通过感知模块和类比推理等认知能力,构建了系统的认知模型,并探讨了其在下一代 DT、认知化人工身影和大脑级元宇宙体验等应用方面的潜力。
- 相关还是随机:LLMs 是否能够真正进行类比推理?
自动生成的相关示例对大规模语言模型(LLM)在类比推理任务中的性能具有非常可观的提升效果,并存在重要因素影响其准确性,研究者设计了两种改进方法以降低推理成本。
- 大型语言模型的反事实任务证据支持紧急类比推理
最近的研究证明,大型语言模型能够以零样本的方式解决各种基于文本的类比问题,表明存在一种新兴的类比推理能力。最近的两篇评论对这些结果提出了质疑,引用了所谓的 ' 反事实 ' 任务的证据,其中标准的字母序列被任意改变,以减少与语言模型训练数据中 - 概念感知数据构建改善语言模型的上下文学习
通过概念感知训练框架构建训练场景,提高预训练变换器在上下文学习过程中利用新的潜在概念的能力,并使这种能力使得上下文学习对先前模型的功能性缺陷更具鲁棒性,相对于传统指令优化,在大多数新任务上具有更好的效果,并且训练数据规模相当的情况下,表现与 - AnaloBench: 评估抽象与长文本上下文类比的鉴别能力
用于评估语言模型中类比推理能力的基准模型 ANALOBENCH 可以从大量信息中回忆相关经验,并将类比推理应用于复杂和冗长的情景中。
- 利用神经嵌入和向量运算解决 ARC 视觉类比问题:一种广义方法
这篇论文通过引入变分自动编码器 (VAE) 来解决通过向量算术处理的视觉类比推理问题,并且在 Abstraction and Reasoning Corpus (ARC) 中取得了有希望的结果。
- 语言模型可以学习类比推理吗?研究训练目标和与人类表现的比较
通过测试几种学习基本类比推理的方法,研究人员发现模型在少量数据情况下也能学习类比推理,并与人类基准数据集进行比较发现,经过训练后,模型接近人类表现。
- ARN:故事类修辞推理的综合框架和数据集
通过将认知心理学中的类比推理理论在叙述上进行计算适应,我们提出了类比叙事(ARN)数据集和一个大规模的评估框架,研究了不同抽象程度的类比、不类比之间的匹配。研究结果表明,当较高级别的映射缺乏较低级别的映射时(远类比),大语言模型难以识别;而 - 大规模语言模型中的紧急类比推理
作者在最近的《自然・人类行为》一文中论述大语言模型在具备模拟推理能力方面的鲜明特点,但我们的实验证明,GPT-3 无法解决最简单的变体问题,因此对于类似零样本推理的人类推理能力,需要更切实的证据以排除数据记忆的可能性。
- 为何需要神经符号人工智能模型来建模实用类比?
使用熟悉的领域进行类比推理是智能的标志。本文研究大型语言模型在处理逐渐复杂的结构化文本中的类比时的表现,并讨论了四个不同复杂程度的类比:词汇类比、句法类比、语义类比和语用类比。为了解决这个问题,我们提出了结合统计和符号人工智能的神经符号 A - 使用预训练语言模型进行上下文类比推理
通过将人类语言与类比制造联系起来,我们使用大规模预训练的语言模型(PLMs)来支持人工智能系统的类比能力,将感知特征转换成语言形式,PLMs 展现出惊人的零 - shot 关系推理能力,并在 RPM 测试中接近监督的以视觉为基础的方法。
- Im-Promptu: 基于图像提示的上下文组合
本研究探讨了模拟推理对于在可组合元素的视觉刺激下的情境组合的学习的作用,并提出了一个名为 Im-Promptu 的元学习框架,用于训练多个具有不同组成水平的代理。实验揭示了推广能力和组合度之间的权衡,可以扩展学习到的组合规则到看不见的域,但 - 概念感知训练提高语言模型的上下文学习能力
文中介绍了一种名为 CoAT 的优化方法,利用模拟训练数据来帮助语言模型更好的利用其背景知识。使用 CoAT 训练的 In-context learners 性能表现良好,达到了在多任务训练中更大规模模型的性能水平。
- 表层相似性之下:大型语言模型进行结构收缩后能够提出科学上合理的类比
本文介绍了关于大型语言模型与人类类比推理的一些发现和研究,并提出了一种基于认知心理学的类比结构推断任务以及用于评估类比推理能力的 SCAR 基准测试集,实验结果表明,结合背景知识和解释的 CoT 方法可以显著提高 LLMs 在该任务上的表现 - ANALOGYKB:使用百万级知识库开启语言模型的类比推理
提出了一个基于知识图谱的百万级类比知识库 ANALOGYKB,能够发现两种类型的类比,成功地让模型在类比推理任务中超越了之前最先进的方法。