Jun, 2024

AI 模型的组合学习调查：理论与实验实践

PDF
TL;DR综述了有关计算模型和认知研究中的组合学习的文献，并连接了认知和语言模型在组合推理中面临的计算挑战。概述了形式定义、任务、评估基准、各种计算模型和理论发现，并介绍了大型语言模型的现代研究，以深入了解尖端人工智能模型展示的组合能力，并指出了未来研究的重要方向。
compositional learningcognitive studiescomputational modelslanguage modelsfuture research
发现论文，激发创造
  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 组合结构的终身学习

    将组合学习和终身学习结合，提出一种通用的处理流相关任务的终身组合学习框架，包括两个阶段：学习如何更好地组合现有组件以同化新问题和学习如何适应现有组件集以容纳新问题。

    Jul, 2020

  • 神经网络求解数学问题中出现了组合处理

    本文探讨了人类学习机制中的组合性问题，并扩展了先前针对自然语言的神经网络研究到数学推理领域。研究发现，神经网络不仅能够学习到训练数据中的结构关系，而且能够将这些知识用于指导复合意义的组合。

    May, 2021

  • 通过机器人的交互学习语言和行动发展组成性和泛化能力

    通过基于自由能原理的预测编码和主动推理框架，将视觉、本体感知和语言集成到一个受脑启发的神经网络模型中，通过多种模拟实验及机械臂的测试，研究表明，在增加任务组合的变异性时，对于学习未知的动词 - 名词组合的泛化能力得到了显著提升，这归因于语言潜在状态空间中的自组织组合结构被感觉运动学习显著影响，视觉注意和工作记忆对于准确生成视动序列以实现语言表示目标具有重要作用，这些结果推进了我们对通过语言和感觉运动经验相互作用发展组合性机制的理解。

    Mar, 2024

  • 神经模型中组成通用能力的研究

    该研究介绍了一个名为 ConceptWorld 的环境，用于生成通过逻辑领域特定语言定义的构成和关系概念的图像。研究测试了标准神经网络和关系网络的泛化能力，并提出了一个潜在的基准模型，以鼓励在构成和关系领域有效泛化的模型的发展。

    Jun, 2020

  • 通过学习分析表达式实现组合泛化

    通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型，该模型由两个协同神经模块组成，一个是 Composer，另一个是 Solver，通过分层强化学习算法进行端到端训练，实现变通组合能力，其在 well-known benchmark SCAN 上的实验表明，我们的模型具有极强的组合泛化能力，以 100％精度解决了之前工作中面临的所有挑战。

    Jun, 2020

  • 从第一原则开始的组合泛化

    本篇论文从识别可表达性学习出发，将组合性视为数据生成过程的属性而非数据本身，并提出了仅取决于训练分布和模型架构的轻微条件，为组合泛化建立了理论框架，并验证了其应用于现实世界场景的结论，从而为组合泛化的原则性理论研究铺平了道路。

    Jul, 2023

  • 功能组合结构的终身机器学习

    这篇论文提出了一种通用的学习框架，用于终身学习功能本质组合结构，分别研究了有监督学习和强化学习的应用，同时拓展到了非静态环境下。在评估实验中，展示了这种框架的优越性，取得了较好的效果。

    Jul, 2022

  • 人类少样本学习组合指令

    人类的组合能力和语言学习技能具有高度的可塑性，能够从很少的示例中学习和使用新的功能概念，可以以超出提供的演示方式进行组合。研究了人们解决任务时的假设和归纳偏差，揭示了三个偏差：互斥性、一对一映射和图标级联。该研究显示了机器学习与人类语言学习的巨大差异，并探讨了制定更加类似于人类的机器学习算法的潜在手段。

    Jan, 2019

  • 视觉概念学习中的组合多样性

    本文探讨了人类与计算机视觉模型在不同类型的视觉组合任务中的差异，通过大程序空间中的最佳程序来生成具有丰富关系结构的候选视觉对象，发现人类和程序感知上存在着一些相同点，同时在一些结构上存在不同，其中，形成新的概念主要涉及到的是组合机制和抽象。

    May, 2023