关于概率神经符号学习的难度

Jun, 2024

On the Hardness of Probabilistic Neurosymbolic Learning

Jaron Maene, Vincent Derkinderen, Luc De Raedt

TL;DR纯神经学习的局限性引发了对概率神经符号模型的兴趣，这些模型将神经网络与概率逻辑推理相结合。我们研究了不同 iating to withging 行概率推理的复杂性。我们证明了尽管在一般情况下近似这些梯度是棘手的，但在训练过程中变得可行。此外，我们介绍了基于模型采样的无偏梯度估计器 WeightME。在温和的假设下，WeightME 用对数数量的 SAT 求解器调用来近似梯度并提供概率保证。最后，我们评估了梯度中这些保证的必要性。我们的实验表明，即使在仍然可行的情况下，现有的偏倚近似确实很难优化。

Abstract

The limitations of purely neural learning have sparked an interest in probabilistic neurosymbolic models, which combine neural networks with probabilistic logical reasoning. As these neurosymbolic models are trai

neurosymbolic models probabilistic reasoning gradient descent weightme sat solver

发现论文，激发创造

神经符号学习的语义强化

该论文探讨如何利用神经符号方法求解具有约束条件的优化问题，为此提出一种计算约束条件之间的互信息的方法，并在三个任务中进行了测试，证明了该方法在提高性能的同时，避免了计算上的复杂性。

Feb, 2023

神经符号分类技术的概率推理复杂性

神经符号人工智能是一个不断发展的研究领域，旨在将神经网络学习能力与符号系统的推理能力相结合。知情多标签分类是神经符号人工智能的一个子领域，研究如何利用先前知识改进神经分类系统。该论文介绍了一个信息驱动的监督分类任务和技术的形式化描述，并基于概率推理构建了三种抽象的神经符号技术。最后，展示了神经符号文献中常见的先前知识的多种表示语言的计算复杂度结果。

Apr, 2024

神经符号学习中的独立性假设

神经符号学习系统应用概率推理指导神经网络，以满足符号上的逻辑约束。然而，多数系统基于条件独立性假设以简化学习和推理，我们研究并批评了这一假设，指出它可能阻碍优化和使不确定性无法量化，因此我们证明了损失函数会导致条件独立神经网络过于自信，无法表示多个有效选项的不确定性。此外，我们证明了这些损失函数难以优化：它们非凸且最小值通常高度分离。我们的理论分析奠定了替代条件独立性假设并设计更具表现力的神经符号学习概率模型的基础。

Apr, 2024

神经符号学习系统中的优化

神经符号 AI 旨在将深度学习与符号 AI 相结合，以减少训练神经网络所需的数据量，提高模型给出答案的可解释性和可解性，并验证经过训练的系统的正确性。我们研究神经符号学习，既有使用符号语言表示的数据，也有背景知识。通过模糊推理、概率推理以及训练神经网络来连接符号和神经组件，以交流这一知识。

Jan, 2024

一种新的统计关系学习下的神经符号系统

提出了一种名为 GBPGR 的广义双层概率图推理框架，通过使用统计关系学习启发式地集成了深度学习模型和符号推理，以解决当前人工智能领域中深度学习和符号推理相结合的方法在组合方式、泛化性和可解释性方面的局限性，并通过大量实验证明了该方法在转导和归纳任务中实现了高性能和有效的泛化能力。

Sep, 2023

可扩展的深度学习与逻辑推理的耦合

本文介绍了一种可扩展的神经网络结构和损失函数，专门用于学习离散图形模型所表达的 NP-hard 解决问题的约束和标准，并在实践中证明其能够高效地从自然输入中学习如何解决 NP-hard 推理问题，具有数据效率，可解释性和后验控制。

May, 2023

具有逻辑神经网络的神经符号归纳逻辑编程

采用逻辑神经网络学习归纳逻辑规则，得出高度可解释且具有灵活参数化以适应数据的规则。

Dec, 2021

基于神经符号方法的弱监督推理

深度学习在自然语言处理 (NLP) 任务中取得了显著进展，本研究提出了一种神经符号学习方法，将符号主义和连接主义两种人工智能学派相结合，通过强化学习或其弱化版本在下游任务中实现具有符号潜在结构的神经系统的弱监督推理。该框架已成功应用于表格查询推理、句法结构推理、信息抽取推理和规则推理等各种任务。

Sep, 2023

通过集成神经感知、语法解析和符号推理实现闭环神经符号学习

本文介绍了一种新的用于神经符号计算的学习框架，其中引入了语法模型和反向搜索算法来优化符号推理模块中的误差传播，本文将所提出的学习框架解释为最大似然估计，算法则解释为 Metropolis-Hastings 采样器，实验结果表明，本文方法相对于强化学习方法在性能、收敛速度和数据效率等方面均有显著提升。

Jun, 2020

利用逻辑背景知识改进基于神经网络的分类

我们提出了一种新的用于有命题背景知识的监督多标签分类的形式化方法，称为推理中的语义调整，其在推理过程中限制系统而不影响训练，相比于另外两种常见的神经符号技术（语义调整和语义正则化），我们讨论了其在理论和实际上的优势，并开发了一种新的多尺度方法来评估神经符号技术的好处随着网络规模的演化，通过对多个数据集的实验和比较，我们的结果表明，推理中的语义调整可以用于构建更准确的基于神经网络的系统，使用更少的资源，并确保输出的语义一致性。

Feb, 2024