神经网络结构化输出预测问题中的语义损失是通过最小化网络违背依赖关系从而指导网络预测满足底层结构的分布，同时也能与神经符号熵相结合，可以应用于生成对抗网络中，产生符合底层结构的复杂对象的约束性对抗网络类深度生成模型。

May, 2024

本文提出了一种新颖的方法，利用符号知识进行深度学习，引入了语义损失函数来约束神经网络输出的逻辑，并且在半监督多分类和结构化对象预测任务中实验验证，取得了几乎最优的结果。

Nov, 2017

神经符号 AI 旨在将深度学习与符号 AI 相结合，以减少训练神经网络所需的数据量，提高模型给出答案的可解释性和可解性，并验证经过训练的系统的正确性。我们研究神经符号学习，既有使用符号语言表示的数据，也有背景知识。通过模糊推理、概率推理以及训练神经网络来连接符号和神经组件，以交流这一知识。

Jan, 2024

我们提出了一种新的用于有命题背景知识的监督多标签分类的形式化方法，称为推理中的语义调整，其在推理过程中限制系统而不影响训练，相比于另外两种常见的神经符号技术（语义调整和语义正则化），我们讨论了其在理论和实际上的优势，并开发了一种新的多尺度方法来评估神经符号技术的好处随着网络规模的演化，通过对多个数据集的实验和比较，我们的结果表明，推理中的语义调整可以用于构建更准确的基于神经网络的系统，使用更少的资源，并确保输出的语义一致性。

Feb, 2024

通过结合逻辑和信息几何，我们提出了一种将知识嵌入和逻辑约束引入机器学习模型中的方法，通过构造分布并将其与原始损失函数以及费舍尔 - 劳距离或库尔巴克 - 莱布勒散度相结合构造损失函数，以输出概率分布来包含逻辑约束。

May, 2024

神经符号人工智能（Neuro-symbolic AI）通过在神经网络的输出分布上最大化符号约束的可能性来弥合纯符号和神经学习方法之间的差距。为了应用神经符号学习于更具表达能力的自回归分布，例如转换器，我们提出了一种在随机的局部近似上对其进行约束的方法。我们的方法是分解的，允许重用子问题的解决方案，进而有效地计算神经符号误差，并且是局部的高保真度近似，具有低熵和 KL 散度，改进了基本模型预测逻辑一致输出的能力，也在大型语言模型去毒化任务方面取得了先进技术水平。

Dec, 2023

深度学习在自然语言处理 (NLP) 任务中取得了显著进展，本研究提出了一种神经符号学习方法，将符号主义和连接主义两种人工智能学派相结合，通过强化学习或其弱化版本在下游任务中实现具有符号潜在结构的神经系统的弱监督推理。该框架已成功应用于表格查询推理、句法结构推理、信息抽取推理和规则推理等各种任务。

Sep, 2023

神经符号学习中的符号基础问题是人工智能中的一个基本问题。本文提出了一种新的、软化的符号基础过程，能够桥接神经网络训练和符号约束求解两个分离的领域，从而构建一个高效且有效的神经符号学习框架，并通过实验证明该框架具有优越的符号基础能力。

Mar, 2024

通过建立神经符号预测器 (即从子符号输入到更高层概念的映射) 提出了一种深度学习的 setup，然后在这种中间表示上进行 (概率) 逻辑推理。本文建立了推理捷径与损失函数的 optima 之间的形式链接，并确定了推理捷径可能出现的情况。在此基础上，讨论了诸如重构和概念监督等自然缓解策略的局限性。

Mar, 2023

设计了一个语义概率层，可以将其插入到任何神经网络中，保证其预测与一组预先定义的符号约束一致，以此来预测结构化输出，它能够模拟复杂的相关性和硬约束，实现最大似然的端到端学习，对于其他神经符号方法无法处理的结构化输出任务，SPL 的效果要好得多，并且能够满足完美的约束条件。

Jun, 2022