人类和机器的功能组合学习

Mar, 2024

Compositional learning of functions in humans and machines

Yanli Zhou, Brenden M. Lake, Adina Williams

TL;DR在研究中，我们通过探索人类和神经网络模型在学习和推理组合函数方面的能力，发现人类能够在不同的交互条件下对视觉函数组合进行零样本泛化，比较同一任务中的神经网络模型发现，通过元学习组合性（MLC）方法，标准序列到序列的转换器能够模仿人类在函数组合中的泛化模式。

Abstract

The ability to learn and compose functions is foundational to efficient learning and reasoning in humans, enabling flexible generalizations such as creating new dishes from known cooking processes. Beyond sequential chaining of functions, existing linguistics literature indicates that humans can grasp more complex compositions with interacting functions, whe

function learning compositional functions interaction conditions human generalizations neural network models

发现论文，激发创造

人类少样本学习组合指令

人类的组合能力和语言学习技能具有高度的可塑性，能够从很少的示例中学习和使用新的功能概念，可以以超出提供的演示方式进行组合。研究了人们解决任务时的假设和归纳偏差，揭示了三个偏差：互斥性、一对一映射和图标级联。该研究显示了机器学习与人类语言学习的巨大差异，并探讨了制定更加类似于人类的机器学习算法的潜在手段。

Jan, 2019

功能组合结构的终身机器学习

这篇论文提出了一种通用的学习框架，用于终身学习功能本质组合结构，分别研究了有监督学习和强化学习的应用，同时拓展到了非静态环境下。在评估实验中，展示了这种框架的优越性，取得了较好的效果。

Jul, 2022

从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

May, 2024

通过机器人的交互学习语言和行动发展组成性和泛化能力

通过基于自由能原理的预测编码和主动推理框架，将视觉、本体感知和语言集成到一个受脑启发的神经网络模型中，通过多种模拟实验及机械臂的测试，研究表明，在增加任务组合的变异性时，对于学习未知的动词 - 名词组合的泛化能力得到了显著提升，这归因于语言潜在状态空间中的自组织组合结构被感觉运动学习显著影响，视觉注意和工作记忆对于准确生成视动序列以实现语言表示目标具有重要作用，这些结果推进了我们对通过语言和感觉运动经验相互作用发展组合性机制的理解。

Mar, 2024

神经网络求解数学问题中出现了组合处理

本文探讨了人类学习机制中的组合性问题，并扩展了先前针对自然语言的神经网络研究到数学推理领域。研究发现，神经网络不仅能够学习到训练数据中的结构关系，而且能够将这些知识用于指导复合意义的组合。

May, 2021

组合结构的终身学习

将组合学习和终身学习结合，提出一种通用的处理流相关任务的终身组合学习框架，包括两个阶段：学习如何更好地组合现有组件以同化新问题和学习如何适应现有组件集以容纳新问题。

Jul, 2020

元学习以复合泛化为目标

自然语言是组成的，神经网络在组成泛化方面表现差，自相似度驱动的元学习可提高自然语言处理模型的组成泛化能力。

Jun, 2021

视觉概念学习中的组合多样性

本文探讨了人类与计算机视觉模型在不同类型的视觉组合任务中的差异，通过大程序空间中的最佳程序来生成具有丰富关系结构的候选视觉对象，发现人类和程序感知上存在着一些相同点，同时在一些结构上存在不同，其中，形成新的概念主要涉及到的是组合机制和抽象。

May, 2023

语言模型零样本函数组合性的探索

本文探讨了预训练语言模型的功能组合性问题，并指出当前的 PLMs（例如 GPT-2 和 T5）还没有具有功能组合性，远未达到人类级别的泛化能力。同时，对于零样本功能组合的语言模型提出了研究方向。

Mar, 2023

通过学习分析表达式实现组合泛化

通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型，该模型由两个协同神经模块组成，一个是 Composer，另一个是 Solver，通过分层强化学习算法进行端到端训练，实现变通组合能力，其在 well-known benchmark SCAN 上的实验表明，我们的模型具有极强的组合泛化能力，以 100％精度解决了之前工作中面临的所有挑战。

Jun, 2020