May, 2024

卷积神经网络中的偏差校正的神经符号框架

PDF
TL;DR通过神经符号框架 NeSyBiCor，我们成功纠正了使用 Places 数据集子类训练的卷积神经网络的偏见，以最小的准确性损失和更好的可解释性，大大减少了最终偏见校正规则集的大小。
convolutional neural networksstratified answer set programmingneurosymbolic frameworkbias correctionsemantic similarity loss
发现论文，激发创造
  • 利用逻辑编程和核分组提高卷积神经网络的可解释性

    通过提出 NeSyFOLD-G 神经符号化框架，本研究使用卷积神经网络的最后一层核心生成符号规则集，提高了深度学习模型解释性，并通过核心分组算法减少规则集大小。

    Oct, 2023

  • 包含符号层的深度神经网络中的符号正确性

    通过引入符号层，神经符号深度神经网络（NS-DNN）结合了感知和逻辑推理的人工智能任务，我们确定并形式化了一个直观的高层原则：符号正确性，该原则可以指导 NS-DNN 的设计和分析。我们证明符号正确性是 NS-DNN 可解释性和迁移学习的必要属性，并提供了一种精确推理和沟通神经符号边界上模型行为的方式，同时揭示了 NS-DNN 训练算法面临的基本权衡，并提供了支持进一步 NS-DNN 发展的框架。

    Feb, 2024

  • NeSyFOLD：基于卷积神经网络生成逻辑解释的系统

    本研究提出了一种名为 NeSyFOLD 的新型神经符号系统，通过以下步骤进行训练：（一）我们首先对输入图像数据集进行 CNN 预训练，并提取最后一层过滤器的激活作为二进制值；（二）接下来，我们使用基于规则的机器学习算法 FOLD-SE-M 生成一个逻辑程序，可以对表示为每个过滤器对应的二进制激活向量的图像进行分类，并生成逻辑解释。

    Jan, 2023

  • 神经网络中的偏见解释：探究表征相似性

    研究了使用不同目标函数，基于卷积神经网络（如 ResNets）训练偏重数据集的性能和内部表征结构，表明负对数似然（NLL）和 softmax 交叉熵（SCE）作为损失函数得到的 ResNets 表征同样能够在偏重数据上产生更好的性能和细致替代，并且在神经网络的各层之间具有渐进表征相似性，性能更有可能是稳健的。

    Nov, 2022

  • NeurASP：将神经网络融入 Answer Set Programming

    NeurASP 是一种简单的扩展答案集程序的方法，它综合了神经网络的子符号计算和符号计算。它可以利用预训练的神经网络进行符号计算并通过应用答案集程序中的符号推理来提高神经网络的感知结果。此外，通过使用 ASP 规则训练神经网络，它还可以从规则表达的复杂语义约束中学习，以便神经网络不仅可以从数据的隐式相关性中学习，还可以从规则表达的显式约束中学习。

    Jul, 2023

  • 神经符号概念不全是平等的：分析和缓解推理捷径

    本文针对神经符号预测模型的推理快捷方式进行了系统表征，并鉴定了其发生的四个关键条件，提出了多种自然化缓解策略，并从理论和经验上分析了它们的功效，揭示了推理快捷方式的处理难度以及可能对现有神经符号解决方案的可靠性和可解释性产生质疑。

    May, 2023

  • 上下文感知的神经符号方法用于人类活动识别

    本文提出一种基于语义损失函数的神经符号 AI 的方法，用于上下文感知的人体活动识别中，避免了符号推理模块，同时在建立的训练模型中注入了特定知识要求，能够在一些方面超越现有方法，如数据驱动模型，达到或者超过现有的系统识别率。

    Jun, 2023

  • 简单有效的神经符号融合的转移学习

    深度学习与神经符号整合是解决深度学习普适性和推理任务的挑战，通过预训练神经模型并通过迁移学习注入感知部分的权重，可以改善当前神经符号方法中的收敛速度、复杂感知任务的学习难度和局部最小值问题。

    Feb, 2024

  • 利用逻辑背景知识改进基于神经网络的分类

    我们提出了一种新的用于有命题背景知识的监督多标签分类的形式化方法，称为推理中的语义调整，其在推理过程中限制系统而不影响训练，相比于另外两种常见的神经符号技术（语义调整和语义正则化），我们讨论了其在理论和实际上的优势，并开发了一种新的多尺度方法来评估神经符号技术的好处随着网络规模的演化，通过对多个数据集的实验和比较，我们的结果表明，推理中的语义调整可以用于构建更准确的基于神经网络的系统，使用更少的资源，并确保输出的语义一致性。

    Feb, 2024

  • 将符号先验知识融入神经网络中的概念学习

    通过使用元学习方法从符号贝叶斯模型的先验分布生成一组任务集，我们能够将快速概念学习所需的归纳偏倚转移到神经网络中，创造出具有对短逻辑公式表达的概念存在偏倚的神经网络，这些结果与人类表现高度一致。

    Feb, 2024