Feb, 2024

将符号先验知识融入神经网络中的概念学习

PDF
TL;DR通过使用元学习方法从符号贝叶斯模型的先验分布生成一组任务集，我们能够将快速概念学习所需的归纳偏倚转移到神经网络中，创造出具有对短逻辑公式表达的概念存在偏倚的神经网络，这些结果与人类表现高度一致。
inductive biasesneural networkconcept learningmeta-learninglogical formulas
发现论文，激发创造
  • 将贝叶斯先验蒸馏到人工神经网络中，模拟快速语言学习

    将贝叶斯模型的归纳偏差与神经网络的灵活表示相结合，使得从自然语素材中有限学习成为可能。

    May, 2023

  • 通过感性偏向从深度学习中发现符号模型

    该研究采用强归纳偏置的通用方法，将符号化表示从学习的深层模型中提取出来，应用于图神经网络。该技术可以从神经网络中提取物理方程，如力学定律和哈密顿量，并在耗费较小的计算资源上快速发现新的物理原则。

    Jun, 2020

  • 基于贝叶斯推理的自然语言人类概念学习建模

    本研究使用大型自然语言模型作为提议分布，对自然语言的陈述进行贝叶斯推理，以模拟人类抽象符号概念的学习。通过拟合先验人类数据，评估生成和逻辑概念的学习效果。

    Jun, 2023

  • InBiaseD: 通过感知形状来改善归纳偏置蒸馏从而提高泛化性能和鲁棒性

    提出了 InBiaseD 来提取感知偏倚和为神经网络带来形状意识。 该方法通过偏差对齐目标来强制学习更通用的表示，从而减轻了深度神经网络中的一些缺点，如易受损的数据。 InBiaseD 通过无缝插入现有的对抗训练方案，对改善分类和鲁棒性之间的平衡起到了帮助的作用。

    Jun, 2022

  • 利用自然语言与程序抽象将人类归纳偏好渗透到机器中

    通过在自然语言任务描述和生成这些任务的程序中预测表示，并指导它们对更具人类化的归纳偏差进行联合训练，结果表明在下游元增强学习代理中，这些表示的抽象支持是关键。

    May, 2022

  • 元学习通过普遍的语言归纳偏好

    介绍一种通过元学习来探索语言习得中归纳偏好的影响的框架，并展示了一个基于音节结构的案例研究来验证该方法传递了预期的语言归纳偏好。

    Jun, 2020

  • 非参数贝叶斯推断的元学习神经回路

    从非参数贝叶斯模型中提取归纳偏好并将其转移到人工神经网络，使得神经电路能够在开放类集合上成功进行顺序推理，实现了与基于粒子滤波器方法相当甚至更好的性能，并且速度更快、使用更简单。

    Nov, 2023

  • 神经网络的概率元表示

    本文介绍了一种基于贝叶斯方法的神经网络先验分布，该分布使用潜在变量来表示网络中的单元，并以这些变量的值为条件抽取单元之间的权重。这种先验分布具有强大的相关性，可以作为一个基于函数的先验分布，有助于实现 Bayesian 正则化以实现简单结构的网络模型。

    Oct, 2018

  • 利用子网络注入归纳偏置

    通过机械式子任务诱导方法，在训练模型中实现特定的子任务以引入归纳偏差，以减少训练数据量并成功诱导出人类类似的形状偏差。

    Oct, 2023

  • 概念提炼：利用人类中心解释提升模型性能

    我们将 CAVs 从事后分析扩展到事前训练，通过使用额外的概念损失进行微调来减少模型偏差。我们还引入了概念蒸馏，使用预训练的知识模型作为教师来创建更丰富的概念。我们展示了概念敏感训练在去偏、分类问题和重建问题中的应用，可以提高模型的可解释性，减少偏差并引入先验知识。

    Nov, 2023