Dec, 2023

具有逻辑约束的自回归模型的伪语义损失

PDF
TL;DR神经符号人工智能（Neuro-symbolic AI）通过在神经网络的输出分布上最大化符号约束的可能性来弥合纯符号和神经学习方法之间的差距。为了应用神经符号学习于更具表达能力的自回归分布，例如转换器，我们提出了一种在随机的局部近似上对其进行约束的方法。我们的方法是分解的，允许重用子问题的解决方案，进而有效地计算神经符号误差，并且是局部的高保真度近似，具有低熵和 KL 散度，改进了基本模型预测逻辑一致输出的能力，也在大型语言模型去毒化任务方面取得了先进技术水平。
发现论文，激发创造
  • 神经符号学习的语义强化

    该论文探讨如何利用神经符号方法求解具有约束条件的优化问题，为此提出一种计算约束条件之间的互信息的方法，并在三个任务中进行了测试，证明了该方法在提高性能的同时，避免了计算上的复杂性。

    Feb, 2023

  • 语义目标函数：向深度学习中添加逻辑约束的一种分布感知方法

    通过结合逻辑和信息几何，我们提出了一种将知识嵌入和逻辑约束引入机器学习模型中的方法，通过构造分布并将其与原始损失函数以及费舍尔 - 劳距离或库尔巴克 - 莱布勒散度相结合构造损失函数，以输出概率分布来包含逻辑约束。

    May, 2024

  • 深度学习中基于符号知识的语义损失函数

    本文提出了一种新颖的方法，利用符号知识进行深度学习，引入了语义损失函数来约束神经网络输出的逻辑，并且在半监督多分类和结构化对象预测任务中实验验证，取得了几乎最优的结果。

    Nov, 2017

  • 逻辑约束下的学习，但不满足快速通道

    通过引入双变量来解决逻辑连接约束的快捷方式问题，将编码形式化为与模型的原始训练损失兼容的分布损失，实现学习逻辑约束的新框架在模型的普适性和约束满足方面表现出卓越的性能。

    Mar, 2024

  • 神经符号结构预测的语义损失函数

    神经网络结构化输出预测问题中的语义损失是通过最小化网络违背依赖关系从而指导网络预测满足底层结构的分布，同时也能与神经符号熵相结合，可以应用于生成对抗网络中，产生符合底层结构的复杂对象的约束性对抗网络类深度生成模型。

    May, 2024

  • 神经符号熵正则化

    本文介绍了一种统一 neuro-symbolic 和 entropy regularization 的框架，并提出了一种神经符号熵正则化损失函数，用于半监督和全监督结构化预测实验中的有效性测试。

    Jan, 2022

  • 神经符号推理及构成不确定性量化用于图形自回归解析的鲁棒性

    本文研究了面向神经符号推理的组合感知方法，涉及图预测的不确定性和推广性能，实现了在子图级别的细粒度神经符号推理，具有捕捉图形预测不同方面的神经和符号方法的独特优势，从而在领域间和尾部拥有良好的推广表现。

    Jan, 2023

  • 通过直通估计器将逻辑约束注入神经网络

    将离散逻辑约束注入神经网络学习是神经符号人工智能领域的主要挑战之一。本文发现，直通估算器这一用于训练二进制神经网络的方法可有效应用于将逻辑约束纳入神经网络学习中。我们设计了一种系统的方式将离散逻辑约束表示为一个损失函数；通过梯度下降，利用直通估算器最小化该损失函数可以使得神经网络的权重朝着使二值化输出满足逻辑约束的方向更新。实验结果表明，通过利用 GPU 和批次训练，这种方法比现有的需要进行大量符号计算来计算梯度的神经符号方法具有更好的可扩展性。此外，我们证明了该方法适用于不同类型的神经网络，如多层感知机（MLP）、卷积神经网络（CNN）和图神经网络（GNN），使它们能够通过直接从已知约束中学习来学习了无标签数据或更少标签数据。

    Jul, 2023

  • NeuroLogic A * 式解码：带有前瞻启发式的受限文本生成

    本研究提出了 NeuroLogic A*esque 算法，结合 A * 算法的启发式估计了将来的成本，实现了在给定复杂约束条件下的语言模型解码，证明其在五个生成任务中的优越性能并创造了新的最先进的性能，特别是在复杂的约束满足任务和少样本或零样本情况下。

    Dec, 2021

  • 可扩展的深度学习与逻辑推理的耦合

    本文介绍了一种可扩展的神经网络结构和损失函数，专门用于学习离散图形模型所表达的 NP-hard 解决问题的约束和标准，并在实践中证明其能够高效地从自然输入中学习如何解决 NP-hard 推理问题，具有数据效率，可解释性和后验控制。

    May, 2023