神经符号学习中的独立性假设

Apr, 2024

On the Independence Assumption in Neurosymbolic Learning

Emile van Krieken, Pasquale Minervini, Edoardo M. Ponti, Antonio Vergari

TL;DR神经符号学习系统应用概率推理指导神经网络，以满足符号上的逻辑约束。然而，多数系统基于条件独立性假设以简化学习和推理，我们研究并批评了这一假设，指出它可能阻碍优化和使不确定性无法量化，因此我们证明了损失函数会导致条件独立神经网络过于自信，无法表示多个有效选项的不确定性。此外，我们证明了这些损失函数难以优化：它们非凸且最小值通常高度分离。我们的理论分析奠定了替代条件独立性假设并设计更具表现力的神经符号学习概率模型的基础。

Abstract

State-of-the-art neurosymbolic learning systems use probabilistic reasoning to guide neural networks towards predictions that conform to logical constraints over symbols. Many such systems assume that the probabi

neurosymbolic learning systems probabilistic reasoning conditional independence assumption uncertainty quantification expressive neurosymbolic probabilistic models

发现论文，激发创造

神经符号学习系统中的优化

神经符号 AI 旨在将深度学习与符号 AI 相结合，以减少训练神经网络所需的数据量，提高模型给出答案的可解释性和可解性，并验证经过训练的系统的正确性。我们研究神经符号学习，既有使用符号语言表示的数据，也有背景知识。通过模糊推理、概率推理以及训练神经网络来连接符号和神经组件，以交流这一知识。

Jan, 2024

神经符号学习的语义强化

该论文探讨如何利用神经符号方法求解具有约束条件的优化问题，为此提出一种计算约束条件之间的互信息的方法，并在三个任务中进行了测试，证明了该方法在提高性能的同时，避免了计算上的复杂性。

Feb, 2023

神经符号分类技术的概率推理复杂性

神经符号人工智能是一个不断发展的研究领域，旨在将神经网络学习能力与符号系统的推理能力相结合。知情多标签分类是神经符号人工智能的一个子领域，研究如何利用先前知识改进神经分类系统。该论文介绍了一个信息驱动的监督分类任务和技术的形式化描述，并基于概率推理构建了三种抽象的神经符号技术。最后，展示了神经符号文献中常见的先前知识的多种表示语言的计算复杂度结果。

Apr, 2024

推理和学习统一描绘的抽象推论

基于神经科学中贝叶斯方法对脑功能的启示，我们提出了一个简单的概率推断理论，用于统一描述推理和学习。我们通过符号逻辑中知识的可满足性模拟数据如何引发符号知识的过程，即抽象过程和选择性无知。我们讨论了推理的逻辑后果关系以及基于实验证据的 MNIST 数据集的经验正确性。

Feb, 2024

关于概率神经符号学习的难度

纯神经学习的局限性引发了对概率神经符号模型的兴趣，这些模型将神经网络与概率逻辑推理相结合。我们研究了不同 iating to withging 行概率推理的复杂性。我们证明了尽管在一般情况下近似这些梯度是棘手的，但在训练过程中变得可行。此外，我们介绍了基于模型采样的无偏梯度估计器 WeightME。在温和的假设下，WeightME 用对数数量的 SAT 求解器调用来近似梯度并提供概率保证。最后，我们评估了梯度中这些保证的必要性。我们的实验表明，即使在仍然可行的情况下，现有的偏倚近似确实很难优化。

Jun, 2024

利用逻辑背景知识改进基于神经网络的分类

我们提出了一种新的用于有命题背景知识的监督多标签分类的形式化方法，称为推理中的语义调整，其在推理过程中限制系统而不影响训练，相比于另外两种常见的神经符号技术（语义调整和语义正则化），我们讨论了其在理论和实际上的优势，并开发了一种新的多尺度方法来评估神经符号技术的好处随着网络规模的演化，通过对多个数据集的实验和比较，我们的结果表明，推理中的语义调整可以用于构建更准确的基于神经网络的系统，使用更少的资源，并确保输出的语义一致性。

Feb, 2024

使用可证明保证的方法解读神经符号学习中的原始数据

通过逻辑推理，将感知模型与由符号知识库推断出的信息相结合的神经符号混合系统在整合机器学习和符号推理方面具有很大潜力。虽然经验证据显示了混合系统学习准确感知模型的能力，但对于可学性的理论理解仍然缺乏。本文通过研究知识库来解决这个问题，并提出了一个判定知识在促进成功学习方面的有效性的标准。综合实验确认了我们的标准在基准任务上的实用性。

Aug, 2023

神经符号模型对自然限制的保证一致性

本研究提出了一种基于神经符号模型的方法，可以实现对模型的确定性接纳，并在三项案例中进行了实验验证。

Dec, 2022

具有逻辑约束的自回归模型的伪语义损失

神经符号人工智能（Neuro-symbolic AI）通过在神经网络的输出分布上最大化符号约束的可能性来弥合纯符号和神经学习方法之间的差距。为了应用神经符号学习于更具表达能力的自回归分布，例如转换器，我们提出了一种在随机的局部近似上对其进行约束的方法。我们的方法是分解的，允许重用子问题的解决方案，进而有效地计算神经符号误差，并且是局部的高保真度近似，具有低熵和 KL 散度，改进了基本模型预测逻辑一致输出的能力，也在大型语言模型去毒化任务方面取得了先进技术水平。

Dec, 2023

一个简单的逻辑推理和统计学习生成模型

提出了一种基于贝叶斯模型可实现逻辑推理和统计学习的新方法，使得符号推理成为正向和反向过程的结果，并对学习和推理的研究提供了新的视角。

May, 2023