神经符号系统的软化符号定位
该论文探讨如何利用神经符号方法求解具有约束条件的优化问题,为此提出一种计算约束条件之间的互信息的方法,并在三个任务中进行了测试,证明了该方法在提高性能的同时,避免了计算上的复杂性。
Feb, 2023
我们提出了一种新的用于有命题背景知识的监督多标签分类的形式化方法,称为推理中的语义调整,其在推理过程中限制系统而不影响训练,相比于另外两种常见的神经符号技术(语义调整和语义正则化),我们讨论了其在理论和实际上的优势,并开发了一种新的多尺度方法来评估神经符号技术的好处随着网络规模的演化,通过对多个数据集的实验和比较,我们的结果表明,推理中的语义调整可以用于构建更准确的基于神经网络的系统,使用更少的资源,并确保输出的语义一致性。
Feb, 2024
NeSyGPT 通过对视觉 - 语言基础模型进行微调,从原始数据中提取符号特征,并学习一个高度表达的回答集程序来解决下游任务,以提高 NeSy 任务的性能和减少数据标记和手动工程工作量。
Feb, 2024
深度学习在自然语言处理 (NLP) 任务中取得了显著进展,本研究提出了一种神经符号学习方法,将符号主义和连接主义两种人工智能学派相结合,通过强化学习或其弱化版本在下游任务中实现具有符号潜在结构的神经系统的弱监督推理。该框架已成功应用于表格查询推理、句法结构推理、信息抽取推理和规则推理等各种任务。
Sep, 2023
神经符号 AI 旨在将深度学习与符号 AI 相结合,以减少训练神经网络所需的数据量,提高模型给出答案的可解释性和可解性,并验证经过训练的系统的正确性。我们研究神经符号学习,既有使用符号语言表示的数据,也有背景知识。通过模糊推理、概率推理以及训练神经网络来连接符号和神经组件,以交流这一知识。
Jan, 2024
探索了地基的概念,从认知科学和机器学习的角度,对地基的复杂性、在协作代理中的重要性以及两个领域中地基方法的相似性和差异进行了研究。研究了定制地基任务的神经符号方法的潜力,展示了它们如何更全面地处理地基。最后,讨论了地基进一步探索和发展的领域。
Feb, 2024
本文探讨了神经符号计算技术中深度学习和知识表示应该如何有机结合,通过 20 年来的相关研究结果,为下一个 AI 系统的关键性成分做出探索,以神经符号系统的视角提出 AI 技术应该在信任、安全、可解释性和问责制方面有所提升和解决的方向和挑战。
Dec, 2020
提出了一种名为 GBPGR 的广义双层概率图推理框架,通过使用统计关系学习启发式地集成了深度学习模型和符号推理,以解决当前人工智能领域中深度学习和符号推理相结合的方法在组合方式、泛化性和可解释性方面的局限性,并通过大量实验证明了该方法在转导和归纳任务中实现了高性能和有效的泛化能力。
Sep, 2023
通过探究内在表征的多种不同地基于生物或人工系统方法(指示性、感觉运动、关系、交流和认识性地基础),梳理分化它们之间的差异,并阐述说明认为指示性地基础是矢量基础问题的关键所在。基于哲学和认知科学中的表征内容理论,本文提出了某些大语言模型(LLMs,尤其是使用人类反馈从 RLHF 进行调整的)具有克服矢量基础问题所必需的特征,并且提出,多模态和体现都不是人工系统指示性基础的必要或充分条件。
Apr, 2023
深度学习与神经符号整合是解决深度学习普适性和推理任务的挑战,通过预训练神经模型并通过迁移学习注入感知部分的权重,可以改善当前神经符号方法中的收敛速度、复杂感知任务的学习难度和局部最小值问题。
Feb, 2024