May, 2023

神经符号概念不全是平等的：分析和缓解推理捷径

PDF
TL;DR本文针对神经符号预测模型的推理快捷方式进行了系统表征，并鉴定了其发生的四个关键条件，提出了多种自然化缓解策略，并从理论和经验上分析了它们的功效，揭示了推理快捷方式的处理难度以及可能对现有神经符号解决方案的可靠性和可解释性产生质疑。
neuro-symbolicpredictive modelsreasoning shortcutsmitigation strategiesinterpretability
发现论文，激发创造
  • 神经符号推理快捷方式：缓解策略及其局限性

    通过建立神经符号预测器 (即从子符号输入到更高层概念的映射) 提出了一种深度学习的 setup，然后在这种中间表示上进行 (概率) 逻辑推理。本文建立了推理捷径与损失函数的 optima 之间的形式链接，并确定了推理捷径可能出现的情况。在此基础上，讨论了诸如重构和概念监督等自然缓解策略的局限性。

    Mar, 2023

  • BEARS 使神经符号模型意识到其推理捷径

    通过确保神经符号模型意识到其所学概念的语义歧义，从而使用户能够识别并不信任低质量的概念，从而不降低预测准确性，我们提出了一种名为 BEARS（BE Aware of Reasoning Shortcuts）的合奏技术，该技术校准了模型在概念层面的置信度，提高了对 RS 的感知能力，也有助于获取有信息量的密集注释以用于缓解目的。

    Feb, 2024

  • 神经符号人工智能在自然语言处理方面是否兑现其承诺？一项结构化综述

    通过研究关于 Neuro-Symbolic 人工智能（NeSy）在自然语言处理中的应用，发现将逻辑编译到神经网络中的系统能够实现最佳的 NeSy 目标，呼吁更加系统化的方法和适当的基准测试用于理解该领域的发展。

    Feb, 2022

  • 基础模型在神经符号学习和推理中的作用

    NeSyGPT 通过对视觉 - 语言基础模型进行微调，从原始数据中提取符号特征，并学习一个高度表达的回答集程序来解决下游任务，以提高 NeSy 任务的性能和减少数据标记和手动工程工作量。

    Feb, 2024

  • 发现高影响力的捷径推理：一种自动无模板方法

    通过使用超出分布数据的方法，我们提出了一种识别快速推理的新方法，该方法不仅可以量化快速推理的严重程度，还不需要假设触发快速推理的令牌类型。我们在自然语言推理和情感分析方面的实验中成功地发现了之前研究中已知和未知的快速推理。

    Dec, 2023

  • 简单有效的神经符号融合的转移学习

    深度学习与神经符号整合是解决深度学习普适性和推理任务的挑战，通过预训练神经模型并通过迁移学习注入感知部分的权重，可以改善当前神经符号方法中的收敛速度、复杂感知任务的学习难度和局部最小值问题。

    Feb, 2024

  • 走向完全声明性神经符号语言

    提出并实现了完全声明性的神经谓词的通用框架，从而扩展到完全声明性的 NeSy 框架。首先证明声明性扩展在保持学习和推理能力的同时，能够在仅通过单个查询类型进行训练的情况下回答任意查询。

    May, 2024

  • 神经符号训练用于空间语言推理

    通过使用神经符号技术对语言模型进行培训，可以利用推理的逻辑规则作为约束，并为模型提供额外的监督来源，以弥补由于无法达到所需的抽象水平而在未观察到的复杂输入组合中难以提供解决方案的问题。我们聚焦于文本上的空间推理这一具有挑战性的问题，通过在多个语言模型上的多个基准测试中的结果验证了基于神经符号训练的有效领域转移假设。

    Jun, 2024

  • 神经符号学习的语义强化

    该论文探讨如何利用神经符号方法求解具有约束条件的优化问题，为此提出一种计算约束条件之间的互信息的方法，并在三个任务中进行了测试，证明了该方法在提高性能的同时，避免了计算上的复杂性。

    Feb, 2023

  • 神经符号学习系统中的优化

    神经符号 AI 旨在将深度学习与符号 AI 相结合，以减少训练神经网络所需的数据量，提高模型给出答案的可解释性和可解性，并验证经过训练的系统的正确性。我们研究神经符号学习，既有使用符号语言表示的数据，也有背景知识。通过模糊推理、概率推理以及训练神经网络来连接符号和神经组件，以交流这一知识。

    Jan, 2024