Jun, 2022

语义概率层用于神经符号学习

PDF
TL;DR设计了一个语义概率层，可以将其插入到任何神经网络中，保证其预测与一组预先定义的符号约束一致，以此来预测结构化输出，它能够模拟复杂的相关性和硬约束，实现最大似然的端到端学习，对于其他神经符号方法无法处理的结构化输出任务，SPL 的效果要好得多，并且能够满足完美的约束条件。
predictive layerstructured-output predictionneural networksymbolic constraintssemantic probabilistic layer
发现论文，激发创造
  • 神经符号学习的语义强化

    该论文探讨如何利用神经符号方法求解具有约束条件的优化问题，为此提出一种计算约束条件之间的互信息的方法，并在三个任务中进行了测试，证明了该方法在提高性能的同时，避免了计算上的复杂性。

    Feb, 2023

  • 神经符号结构预测的语义损失函数

    神经网络结构化输出预测问题中的语义损失是通过最小化网络违背依赖关系从而指导网络预测满足底层结构的分布，同时也能与神经符号熵相结合，可以应用于生成对抗网络中，产生符合底层结构的复杂对象的约束性对抗网络类深度生成模型。

    May, 2024

  • 深度学习中基于符号知识的语义损失函数

    本文提出了一种新颖的方法，利用符号知识进行深度学习，引入了语义损失函数来约束神经网络输出的逻辑，并且在半监督多分类和结构化对象预测任务中实验验证，取得了几乎最优的结果。

    Nov, 2017

  • 可扩展神经概率答案集规划

    提出了 SLASH 概率编程语言，通过神经概率谓词和逻辑编程实现了可管理的概率推理，可以进行各种类型的概率查询，并在多个任务上取得了良好的表现。

    Jun, 2023

  • 结构化输出预测的细粒度泛化分析

    本文研究机器学习中的结构化输出预测问题，通过提出基于算法稳定性的新型高概率界限和期望的泛化界限，改进了该领域的研究。同时，本文扩展了该领域的研究对象到弱相关数据。

    May, 2021

  • 一种用于单 / 多标签文本分类的多颗粒度自解释符号神经模型

    本文介绍了一种结构化语言模型，该模型将符号概率模型和神经网络相结合，以提高文本分类性能，并能够在自我监督的方式下学习预测组合树，仅需要原始文本和句级标签作为训练数据，从而具有一定的自我解释性。实验结果表明，本方法在下游任务中能够取得良好的预测准确性，同时预测的跨度标签与人类的推理有一定的一致性。

    Mar, 2023

  • 学习用于概率语义地图的图结构求和 - 乘积网络

    介绍了一种名为图结构和积网络的概率方法，可用于机器人领域的结构预测问题，演示了该方法如何通过处理机器人在大规模办公空间中的嘈杂拓扑关系来提高关于语义概念描述的推断，并显示 GraphSPNs 始终优于传统基于无向图模型的方法。

    Sep, 2017

  • 神经符号熵正则化

    本文介绍了一种统一 neuro-symbolic 和 entropy regularization 的框架，并提出了一种神经符号熵正则化损失函数，用于半监督和全监督结构化预测实验中的有效性测试。

    Jan, 2022

  • 一种新的统计关系学习下的神经符号系统

    提出了一种名为 GBPGR 的广义双层概率图推理框架，通过使用统计关系学习启发式地集成了深度学习模型和符号推理，以解决当前人工智能领域中深度学习和符号推理相结合的方法在组合方式、泛化性和可解释性方面的局限性，并通过大量实验证明了该方法在转导和归纳任务中实现了高性能和有效的泛化能力。

    Sep, 2023

  • 概率与神经符号逻辑编程的半环

    概率逻辑编程领域集中在将概率模型整合到基于逻辑的编程语言中。我们提供了一个统一的代数逻辑编程视角，表明大部分概率逻辑编程的扩展都可以在一个共同的代数逻辑编程框架中加以表述，其中事实用半环的元素标记，而析取和合取用加法和乘法替代。这不仅适用于概率逻辑编程的变体本身，还适用于基于（代数）模型计数的底层执行机制。

    Feb, 2024