Jun, 2024

神经符号训练用于空间语言推理

PDF
TL;DR通过使用神经符号技术对语言模型进行培训，可以利用推理的逻辑规则作为约束，并为模型提供额外的监督来源，以弥补由于无法达到所需的抽象水平而在未观察到的复杂输入组合中难以提供解决方案的问题。我们聚焦于文本上的空间推理这一具有挑战性的问题，通过在多个语言模型上的多个基准测试中的结果验证了基于神经符号训练的有效领域转移假设。
发现论文，激发创造
  • 神经符号化时空推理

    本文介绍了如何通过在神经符号人工智能方向上融合逻辑推理和机器学习，来整合空间和时间知识，解决复杂的现实问题，包括自然语言处理、视觉问题回答和语义图像分割。

    Nov, 2022

  • 基于神经符号方法的弱监督推理

    深度学习在自然语言处理 (NLP) 任务中取得了显著进展，本研究提出了一种神经符号学习方法，将符号主义和连接主义两种人工智能学派相结合，通过强化学习或其弱化版本在下游任务中实现具有符号潜在结构的神经系统的弱监督推理。该框架已成功应用于表格查询推理、句法结构推理、信息抽取推理和规则推理等各种任务。

    Sep, 2023

  • 神经符号学习系统中的优化

    神经符号 AI 旨在将深度学习与符号 AI 相结合，以减少训练神经网络所需的数据量，提高模型给出答案的可解释性和可解性，并验证经过训练的系统的正确性。我们研究神经符号学习，既有使用符号语言表示的数据，也有背景知识。通过模糊推理、概率推理以及训练神经网络来连接符号和神经组件，以交流这一知识。

    Jan, 2024

  • 基于知识的神经符号潜变空间类比推理

    本论文提出了一种结合神经网络的模式识别能力、符号推理和背景知识来解决类比推理问题的框架，并应用于 RAVEN 的递进矩阵上，取得了与人类表现有竞争力甚至更优秀的结果。

    Sep, 2022

  • 基于感知的空间推理的表示学习

    本文提出了一个在模拟环境中进行空间推理的模型，使用强化学习和广义值迭代方法进行训练，取得了目标定位误差减少 45% 的成果。模型以指令文本为引导，学习世界的表示，对语言和环境进行联合推理，实现了本地邻域与对应词汇的精准对齐，同时处理指令中的全局参照。

    Jul, 2017

  • 利用逻辑背景知识改进基于神经网络的分类

    我们提出了一种新的用于有命题背景知识的监督多标签分类的形式化方法，称为推理中的语义调整，其在推理过程中限制系统而不影响训练，相比于另外两种常见的神经符号技术（语义调整和语义正则化），我们讨论了其在理论和实际上的优势，并开发了一种新的多尺度方法来评估神经符号技术的好处随着网络规模的演化，通过对多个数据集的实验和比较，我们的结果表明，推理中的语义调整可以用于构建更准确的基于神经网络的系统，使用更少的资源，并确保输出的语义一致性。

    Feb, 2024

  • 简单有效的神经符号融合的转移学习

    深度学习与神经符号整合是解决深度学习普适性和推理任务的挑战，通过预训练神经模型并通过迁移学习注入感知部分的权重，可以改善当前神经符号方法中的收敛速度、复杂感知任务的学习难度和局部最小值问题。

    Feb, 2024

  • 将符号推理融入神经生成模型用于设计生成

    SPRING 是一种将神经和符号推理相结合的设计生成器，通过在深度生成网络内嵌入符号推理模块，它能满足用户要求并提供可解释性以及管理未遇到过的用户规格，提供高质量设计和更好地满足用户要求。

    Oct, 2023

  • 基础模型在神经符号学习和推理中的作用

    NeSyGPT 通过对视觉 - 语言基础模型进行微调，从原始数据中提取符号特征，并学习一个高度表达的回答集程序来解决下游任务，以提高 NeSy 任务的性能和减少数据标记和手动工程工作量。

    Feb, 2024

  • 神经符号人工智能在自然语言处理方面是否兑现其承诺？一项结构化综述

    通过研究关于 Neuro-Symbolic 人工智能（NeSy）在自然语言处理中的应用，发现将逻辑编译到神经网络中的系统能够实现最佳的 NeSy 目标，呼吁更加系统化的方法和适当的基准测试用于理解该领域的发展。

    Feb, 2022