匈牙利层: 逻辑强化的神经架构
这篇论文提出了一种深度学习和逻辑规则相结合的通用框架,能够将逻辑规则的结构信息转移至神经网络的权重中,有效地提高了CNN和RNN的性能,适用于情感分析和命名实体识别等多个领域。
Mar, 2016
本研究提出了一种双向长短时记忆网络(BiLSTM)和最大池化层的分层策略,为各种自然语言处理任务提供高效的分层表征,并在多项评估任务中超越InferSent和SkipThought,特别是在评估句子表征中语言特性捕捉的能力方面,优于InferSent模型。
Aug, 2018
本文介绍了一种名为 Logic Tensor Networks(LTN)的神经符号形式和计算模型,支持通过引入一种称为 Real Logic 的可微分一阶逻辑表示语言进行学习和推理,并说明 LTN 提供了一种统一语言来规范和计算多个人工智能任务。
Dec, 2020
提出了一个融合符号与深度学习方法的推理框架 NeuralLog,通过结合单调性逻辑推理引擎和神经网络语言模型进行短语对齐,并使用 beam search 算法解决 NLI 任务,实验证明该联合推理系统在 NLI 任务上提高了准确性,并可在 SICK 和 MED 数据集上实现最先进的准确性。
May, 2021
提出一种符号推理架构,使用许多连接算子来模拟输出逻辑表达式,并演示这样的连接-链集合可以表达广泛子集的一阶逻辑表达式,名为FOET,特别适用于建模自然语言。
Oct, 2022
本文探讨了深度神经网络存在的一些局限性,以及最近兴起的神经符号混合系统如何整合符号推理并提出改进方法,将通用注释逻辑扩展为一个基于离散优化的二值化神经网络,提供了可行性证明,并讨论了实现该框架面临的挑战。
Feb, 2023
该论文提出了一种新颖的神经层,LogicMP,它的层对一个MLN执行均场变分推理,可以插入到任何现有的神经网络中以编码FOLCs,同时保持模块化和高效性。利用MLNs中的结构和对称性,我们理论上证明了我们设计良好的高效均场迭代有效地缓解了MLN推断的困难,将推断从顺序计算减少为一系列并行张量操作。在图形、图像和文本的三种任务中的实证结果表明,LogicMP在性能和效率上胜过其他先进的竞争对手。
Sep, 2023
我们提出了一种用于学习算法任务的原创方法,该方法受符号人工智能中的重写系统的启发,该系统由专门的模块组成的神经结构实现,通过系统地应用组合规则来解决超出分布的问题实例。
Feb, 2024
本研究解决了传统符号算法在处理噪声和未观察转换时的局限性。我们提出了一种利用符号领域内在的变量排列不变性的技术,确保变量的排列和命名不会影响结果。实验表明该方法具有良好的效果和可扩展性,能够提高逻辑程序的学习能力。
Aug, 2024