人类和机器学习中抽象概念与统计模式匹配的分离
通过在自然语言任务描述和生成这些任务的程序中预测表示,并指导它们对更具人类化的归纳偏差进行联合训练,结果表明在下游元增强学习代理中,这些表示的抽象支持是关键。
May, 2022
通过构建基于组合语法的结构化任务分布和相同统计复杂度但没有明确的基于规则的结构的 “空任务分布”,比较人类表现与标准元学习代理在两个任务分布中的表现,发现虽然统计复杂度相当,但人类在结构化任务分布中表现更好,而代理在空任务分布中表现更好,这表明控制任务分布的谨慎构建是理解元学习者获得的策略及其与人类的差异之一种有价值的方法。
Oct, 2020
研究了一个自然语言处理人工系统中句子的表征,分析表明存在一些启发式策略,通过训练分布,这些系统可以学习抽象规则并将其推广到新的环境中,但也存在一些推广行为上的缺陷。
Sep, 2019
人类智能的一个特征是能够从有限的经验中推断出抽象规则,并将这些规则应用于陌生情境。本研究介绍了一个使用特征检测、仿射变换估计和搜索的算法方法来进行规则检测和应用,并在简化版的 Raven's Progressive Matrices 任务中展示了模型具有类似人类水平的一次性学习和符号推理能力。
Mar, 2024
我们通过调整表示分布的熵,训练神经模型生成一系列离散表示,并在微调实验中展示了将表示调整到任务适当复杂度水平支持最高微调性能,并通过离散表示的可视化帮助用户在下游任务中识别适当的复杂度水平,这为利用人类洞察力快速微调模型指明了一个有希望的方向。
Oct, 2023
人工智能研究半个世纪以来一直试图复制人类的抽象和推理能力,创造出可以从一小组示例中学习新概念的计算机系统,在人类轻松掌握的情境下进行。然而,尽管特定神经网络能够解决一系列问题,但对于训练数据之外的广泛泛化,仍然是个难题。本文提出了几种新颖的解决方法,用于解决抽象与推理语料库 (ARC) 的问题。尽管竞赛的最佳算法仍然无法解决大多数 ARC 任务,并且依赖于复杂的手工规则,而不使用机器学习。我们重新审视了神经网络领域的最新进展是否能够在这个任务上取得进展,并提出了适应 ARC 的 DreamCoder 神经符号推理求解器。DreamCoder 自动编写特定领域的语言程序进行推理,并使用神经网络模拟人类直觉。我们提出了感知抽象与推理语言 (PeARL) 语言,使 DreamCoder 能够解决 ARC 任务,并提出了一种新的识别模型,显著改进了之前的最佳实现。我们还提出了一种新的编码和增强方案,使大语言模型 (LLMs) 能够解决 ARC 任务,并发现最大的模型可以解决一些 ARC 任务。LLMs 能够解决一组不同于现有解算器的问题,并为其他方法提供了一种有趣的补充方式。我们进行了集成分析,将模型结合起来以取得比任何单独系统更好的结果。最后,我们发布了 arckit Python 库,使未来对 ARC 的研究更加容易。
Feb, 2024
本文综述了人类学习、推理和适应新领域的关键能力 —— 概念抽象和类比制定,以及通过符号方法、深度学习和概率编程归纳等多种途径构建具有这些能力的 AI 系统的优势和局限性,最后提出了设计挑战任务和评估指标的几点建议,以在此领域取得量化和可推广的进展。
Feb, 2021
本研究旨在探索神经网络的抽象推理能力,提出了一个基于人类智商测试设计的数据集挑战,并展示了一种新的体系结构,该结构旨在鼓励推理并可显着提高神经网络的推理能力。通过改变测试和训练数据之间的方式,我们发现该模型在某些形式的泛化上非常擅长,但在其他方面明显较弱。此外,当该模型通过训练来预测答案的符号解释时,其泛化能力会显著提高。
Jul, 2018
大型语言模型在抽象推理任务上表现优秀,但与人类推理问题存在相似的缺陷,同时受到人类知识和信仰的影响,使用可信的现实情境方案进行推理可以提高推理质量,这种关联性帮助我们了解认知效应和语言模型表现的因素。
Jul, 2022
通过演化得到的具有可塑性连接和神经调节的神经网络可以在自然的神经组织和可塑性系统的自发操作下,通过刺激和奖励独立地获取新的简单认知任务。
Dec, 2021