深度学习中基于符号知识的语义损失函数

ICMLNov, 2017

深度学习中基于符号知识的语义损失函数

A Semantic Loss Function for Deep Learning with Symbolic Knowledge

Jingyi Xu, Zilu Zhang, Tal Friedman, Yitao Liang, Guy Van den Broeck

TL;DR本文提出了一种新颖的方法，利用符号知识进行深度学习，引入了语义损失函数来约束神经网络输出的逻辑，并且在半监督多分类和结构化对象预测任务中实验验证，取得了几乎最优的结果。

Abstract

This paper develops a novel methodology for using symbolic knowledge in deep learning. From first principles, we derive a semantic loss function that bridges between neural output vectors and logical constraints.

deep learning symbolic knowledge semantic loss function semi-supervised classification structured objects

发现论文，激发创造

神经符号结构预测的语义损失函数

神经网络结构化输出预测问题中的语义损失是通过最小化网络违背依赖关系从而指导网络预测满足底层结构的分布，同时也能与神经符号熵相结合，可以应用于生成对抗网络中，产生符合底层结构的复杂对象的约束性对抗网络类深度生成模型。

May, 2024

语义目标函数：向深度学习中添加逻辑约束的一种分布感知方法

通过结合逻辑和信息几何，我们提出了一种将知识嵌入和逻辑约束引入机器学习模型中的方法，通过构造分布并将其与原始损失函数以及费舍尔 - 劳距离或库尔巴克 - 莱布勒散度相结合构造损失函数，以输出概率分布来包含逻辑约束。

May, 2024

神经符号学习的语义强化

该论文探讨如何利用神经符号方法求解具有约束条件的优化问题，为此提出一种计算约束条件之间的互信息的方法，并在三个任务中进行了测试，证明了该方法在提高性能的同时，避免了计算上的复杂性。

Feb, 2023

本体分类的语义损失

深度学习模型的一致性是通过使用语义损失来提高，该语义损失结合了基于标签的损失和惩罚包含关系或不相交关系的项。评估结果表明该语义损失能够显著减少一致性违规，同时不降低分类性能，并且还能进一步提高在无监督数据上的一致性。

May, 2024

逻辑约束下的学习，但不满足快速通道

通过引入双变量来解决逻辑连接约束的快捷方式问题，将编码形式化为与模型的原始训练损失兼容的分布损失，实现学习逻辑约束的新框架在模型的普适性和约束满足方面表现出卓越的性能。

Mar, 2024

具有逻辑约束的自回归模型的伪语义损失

神经符号人工智能（Neuro-symbolic AI）通过在神经网络的输出分布上最大化符号约束的可能性来弥合纯符号和神经学习方法之间的差距。为了应用神经符号学习于更具表达能力的自回归分布，例如转换器，我们提出了一种在随机的局部近似上对其进行约束的方法。我们的方法是分解的，允许重用子问题的解决方案，进而有效地计算神经符号误差，并且是局部的高保真度近似，具有低熵和 KL 散度，改进了基本模型预测逻辑一致输出的能力，也在大型语言模型去毒化任务方面取得了先进技术水平。

Dec, 2023

使用预训练和语义损失的神经特征自适应符号预测

本研究探讨了在没有先验信息的情况下，利用 NEUROLOG 方法中的语义损失函数进行特征值提取所需的符号理论预测，发现即使特征预测存在较大偏差，该方法依然能够准确预测，并且表明先验信息的引入可以帮助纠正这种情况，此外本研究也展示了利用诱导反馈对预先训练的神经抽取器进行特征适应的可能性。

Nov, 2022

语义概率层用于神经符号学习

设计了一个语义概率层，可以将其插入到任何神经网络中，保证其预测与一组预先定义的符号约束一致，以此来预测结构化输出，它能够模拟复杂的相关性和硬约束，实现最大似然的端到端学习，对于其他神经符号方法无法处理的结构化输出任务，SPL 的效果要好得多，并且能够满足完美的约束条件。

Jun, 2022

逻辑神经网络

我们提出了一种新的框架，无缝提供神经网络（学习）和符号逻辑（知识和推理）的关键属性，每个神经元都有权重实值逻辑公式的组成部分，得到了高度可解释的分离表示，推理是全向的而不是集中在预定义的目标变量上，对应于逻辑推理，包括经典的一阶逻辑定理证明作为特殊情况。

Jun, 2020

将符号知识嵌入深度网络

本文提出了一种基于图嵌入网络的符号知识应用方法，该方法将命题公式 (和赋值) 通过增强的 Graph Convolutional Network (GCN) 投射到流形上。通过识别节点异质性和结构约束等技术，我们能够生成语义上忠实的嵌入，提高推理检查和视觉关系预测模型的性能。有趣的是，我们观察到命题理论表示的可处理性与嵌入的易用性之间存在一种联系。

Sep, 2019