通过神经程序综合学习组合规则

Mar, 2020

Learning Compositional Rules via Neural Program Synthesis

Maxwell I. Nye, Armando Solar-Lezama, Joshua B. Tenenbaum, Brenden M. Lake

TL;DR本研究介绍了一种神经符号模型，使用极少量的样本学习整个规则系统而非直接从输入输出预测结果，并将学习到的规则系统用于控制人类语言等各个领域，取得了较好的成果。

Abstract

Many aspects of human reasoning, including language, require learning rules from very little data. Humans can do this, often learning systematic rules from very few examples, and combining these rules to form compositional rule-based systems. Current neural architectures, on the other hand, often fail to generalize in a compositional manner, especially when

neuro-symbolic model rule synthesis compositional rule-based systems neural program synthesis human language learning

发现论文，激发创造

神经网络求解数学问题中出现了组合处理

本文探讨了人类学习机制中的组合性问题，并扩展了先前针对自然语言的神经网络研究到数学推理领域。研究发现，神经网络不仅能够学习到训练数据中的结构关系，而且能够将这些知识用于指导复合意义的组合。

May, 2021

知识图谱推理的神经组合规则学习

本文提出了一种端到端的神经模型 - NCRL，用于学习组合逻辑规则，该模型能够检测到规则主体的最佳组合结构以及在小组成的基础上预测规则的结果，实验证明其可扩展，高效，并在大规模知识图谱上的知识图谱填充等任务中取得了最先进的表现。

Mar, 2023

人类少样本学习组合指令

人类的组合能力和语言学习技能具有高度的可塑性，能够从很少的示例中学习和使用新的功能概念，可以以超出提供的演示方式进行组合。研究了人们解决任务时的假设和归纳偏差，揭示了三个偏差：互斥性、一对一映射和图标级联。该研究显示了机器学习与人类语言学习的巨大差异，并探讨了制定更加类似于人类的机器学习算法的潜在手段。

Jan, 2019

学习与组合性：通过连接主义概率编程的统一尝试

本文探讨了学习和组合性作为模拟人类智能的关键机制。我们分析了神经网络和符号人工智能的优缺点，并提出了联结主义概率程序框架来统一学习和组合性机制。在此框架下，我们为小规模序列建模设计了一个 CPP 扩展，并提供基于贝叶斯推断的学习算法。尽管存在无监督学习复杂模式的挑战，我们的早期结果证明 CPP 可以从原始序列数据中成功提取概念和关系，这是组合学习的一个初始步骤。

Aug, 2022

从示例到规则：信息提取的神经引导规则合成

本文介绍了一项利用程序合成技术在信息提取领域中自动生成规则并取得了与状态 - of-art 相当甚至更好表现的方法。

Jan, 2022

元学习以复合泛化为目标

自然语言是组成的，神经网络在组成泛化方面表现差，自相似度驱动的元学习可提高自然语言处理模型的组成泛化能力。

Jun, 2021

视觉概念学习中的组合多样性

本文探讨了人类与计算机视觉模型在不同类型的视觉组合任务中的差异，通过大程序空间中的最佳程序来生成具有丰富关系结构的候选视觉对象，发现人类和程序感知上存在着一些相同点，同时在一些结构上存在不同，其中，形成新的概念主要涉及到的是组合机制和抽象。

May, 2023

pix2rule: 端到端的神经符号规则学习

本文提出了一种完整的神经符号方法，用于以端到端的方式将图像处理为对象，并在学习关系和逻辑规则方面。主要贡献是以可微分层为基础，从而可以通过剪枝和阈值确定符号关系和规则。我们使用两个数据集进行模型评估：符号规则学习的子图同构任务和学习对象，关系和规则的复合关系的图像分类域。结果表明，该模型超越最先进的符号学习者并优于深度关系神经网络架构。

Jun, 2021

神经符号栈机的组合泛化

通过引入神经符号堆栈机（Neural-Symbolic Stack Machine，NeSS），将神经网络的序列生成能力与符号堆栈机的递归支持相结合，解决了现有深度学习模型存在的组成泛化能力有限的问题。NeSS 在四个领域的测试中均获得了 100% 的组成泛化性能。

Aug, 2020

人类和机器的功能组合学习

在研究中，我们通过探索人类和神经网络模型在学习和推理组合函数方面的能力，发现人类能够在不同的交互条件下对视觉函数组合进行零样本泛化，比较同一任务中的神经网络模型发现，通过元学习组合性（MLC）方法，标准序列到序列的转换器能够模仿人类在函数组合中的泛化模式。

Mar, 2024