May, 2024

神经符号结构预测的语义损失函数

PDF
TL;DR神经网络结构化输出预测问题中的语义损失是通过最小化网络违背依赖关系从而指导网络预测满足底层结构的分布，同时也能与神经符号熵相结合，可以应用于生成对抗网络中，产生符合底层结构的复杂对象的约束性对抗网络类深度生成模型。
structured output predictionneural networkssemantic lossneuro-symbolic entropyconstrained adversarial networks
发现论文，激发创造
  • 深度学习中基于符号知识的语义损失函数

    本文提出了一种新颖的方法，利用符号知识进行深度学习，引入了语义损失函数来约束神经网络输出的逻辑，并且在半监督多分类和结构化对象预测任务中实验验证，取得了几乎最优的结果。

    Nov, 2017

  • 神经符号熵正则化

    本文介绍了一种统一 neuro-symbolic 和 entropy regularization 的框架，并提出了一种神经符号熵正则化损失函数，用于半监督和全监督结构化预测实验中的有效性测试。

    Jan, 2022

  • 神经符号学习的语义强化

    该论文探讨如何利用神经符号方法求解具有约束条件的优化问题，为此提出一种计算约束条件之间的互信息的方法，并在三个任务中进行了测试，证明了该方法在提高性能的同时，避免了计算上的复杂性。

    Feb, 2023

  • 使用预训练和语义损失的神经特征自适应符号预测

    本研究探讨了在没有先验信息的情况下，利用 NEUROLOG 方法中的语义损失函数进行特征值提取所需的符号理论预测，发现即使特征预测存在较大偏差，该方法依然能够准确预测，并且表明先验信息的引入可以帮助纠正这种情况，此外本研究也展示了利用诱导反馈对预先训练的神经抽取器进行特征适应的可能性。

    Nov, 2022

  • 本体分类的语义损失

    深度学习模型的一致性是通过使用语义损失来提高，该语义损失结合了基于标签的损失和惩罚包含关系或不相交关系的项。评估结果表明该语义损失能够显著减少一致性违规，同时不降低分类性能，并且还能进一步提高在无监督数据上的一致性。

    May, 2024

  • 语义目标函数：向深度学习中添加逻辑约束的一种分布感知方法

    通过结合逻辑和信息几何，我们提出了一种将知识嵌入和逻辑约束引入机器学习模型中的方法，通过构造分布并将其与原始损失函数以及费舍尔 - 劳距离或库尔巴克 - 莱布勒散度相结合构造损失函数，以输出概率分布来包含逻辑约束。

    May, 2024

  • 语义概率层用于神经符号学习

    设计了一个语义概率层，可以将其插入到任何神经网络中，保证其预测与一组预先定义的符号约束一致，以此来预测结构化输出，它能够模拟复杂的相关性和硬约束，实现最大似然的端到端学习，对于其他神经符号方法无法处理的结构化输出任务，SPL 的效果要好得多，并且能够满足完美的约束条件。

    Jun, 2022

  • 具有逻辑约束的自回归模型的伪语义损失

    神经符号人工智能（Neuro-symbolic AI）通过在神经网络的输出分布上最大化符号约束的可能性来弥合纯符号和神经学习方法之间的差距。为了应用神经符号学习于更具表达能力的自回归分布，例如转换器，我们提出了一种在随机的局部近似上对其进行约束的方法。我们的方法是分解的，允许重用子问题的解决方案，进而有效地计算神经符号误差，并且是局部的高保真度近似，具有低熵和 KL 散度，改进了基本模型预测逻辑一致输出的能力，也在大型语言模型去毒化任务方面取得了先进技术水平。

    Dec, 2023

  • 建模结构化输出依赖的通用知觉损失

    研究结果表明，深度卷积神经网络 (CNNs) 的结构能够捕捉到多层次变量统计之间的依赖关系，从而消除了以往对于卷积神经网络预训练权重和特定网络结构（通常为 VGG) 的假设，提供了更广泛的应用空间。在实验中，使用扩展的随机感知损失可以更好地完成像素级预测任务，如语义分割，深度估计和实例分割。我们希望，这种简单的、扩展的感知损失可以成为适用于大多数结构化输出学习任务的通用结构化输出损失。

    Mar, 2021

  • 半监督语义分割的结构一致性损失

    本论文提出一种结构相似性损失函数，旨在解决现有研究中半监督语义分割问题中的不足，该方法在 Cityscapes 数据集上获得了最好的结果，实现了在像素级语义标签任务中的第一名。

    Jan, 2020