- 大型语言模型是否能理解 DL-Lite 本体?一项实证研究
经验分析表明,大型语言模型可以理解 DL-Lite 本体论,但在处理具有大型 ABox 的本体论以及理解 TBox NI 传递性方面存在困难。
- stl2vec:时序逻辑的语义和可解释向量表示
将符号知识与数据驱动的学习算法集成是人工智能中长期存在的挑战,该论文以时序逻辑为知识表达形式,设计了一种计算具有多个期望属性的连续嵌入式文法的方法,并展示了该方法在学习模型检查和神经符号框架中的应用。
- 利用领域知识指导通过神经概率软逻辑进行对话结构归纳
通过在生成神经模型的潜空间中注入符号知识,我们提出了一种新的 Dialog Structure Induction (DSI) 方法 NEUPSL DSI,它在隐藏表示质量、少样本学习和跨领域泛化性能方面提供了持续的性能提升。
- 推理和学习统一描绘的抽象推论
基于神经科学中贝叶斯方法对脑功能的启示,我们提出了一个简单的概率推断理论,用于统一描述推理和学习。我们通过符号逻辑中知识的可满足性模拟数据如何引发符号知识的过程,即抽象过程和选择性无知。我们讨论了推理的逻辑后果关系以及基于实验证据的 MNI - 大型知识模型:视角与挑战
人类对世界的理解与我们的感知和认知密切相关,其中人类语言作为世界知识的重要承载者之一。本文通过 “知识” 这个视角来探索大型模型,并讨论符号知识如何增强大型语言模型以及大型语言模型如何扩展传统符号知识基础。考虑到人类知识的复杂性,我们倡导创 - Symbol-LLM: 面向大型语言模型的基础符号中心化界面
Symbol-LLM 系列模型通过收集各种符号任务并注入符号知识,解决了大型语言模型面临的符号间关系和符号中心与自然语言中心能力平衡的挑战,实验结果表明 Symbol-LLM 系列模型在符号和自然语言任务上具有平衡和优越的性能。
- 语言模型是如何在上下文中绑定实体的?
通过分析语言模型表示法,我们识别出绑定 ID 机制:一种在足够大的 Pythia 和 LLaMA 系列模型中观察到的解决绑定问题的通用机制。我们使用因果干预证明语言模型的内部激活通过将绑定 ID 向量附加到相应的实体和属性上来表示绑定信息。 - EMNLP通过符号世界知识从自我中心视角定位活动对象
通过学习任务指令的对象信息、利用对象的动作前后条件和描述性知识,我们提出了一种改进短语定位模型的方法,通过大型语言模型来提取动作 - 对象知识,并设计了一种对象短语和符号知识的联合推理技术,实验证明我们的方法在各项指标上都取得了显著的改善。
- 促进协作多智能体强化学习的层次任务网络规划
本篇论文提出了 SOMARL 框架,利用符号知识嵌入 HTN 和元控制器中的 MARL 环境中,针对 FindTreasure 和 MoveBox 两种基准实验表现出比现有技术和基于子目标的基线更好的绩效。
- ACL提出撰写对比解释作为常识问题回答知识的先验鉴别方法
使用 CPACE 模型和符号知识和解释提示来生成对比性解释,从而帮助区分问题答案,提高知识增强型方法在问答任务中的表现。
- 具有时间性质的生成逻辑:超越逻辑一致性和统计可能性
该论文提出了一种简单的推理理论,用来从数据中完全推理符号知识。采用贝叶斯方法模拟数据如何导致符号知识,符号知识的概率推理被建模为正向与反向因果推理的过程。该理论应用于机器人本地化问题,研究表明机器人在完全基于数据的情况下,即使传感器出现故障 - 知识图谱嵌入在长期人机交互中的知识获取和补充
该研究提出了一种用于在长时间内不断学习机器人环境并增量式更新其内部知识图谱表示的架构,采用知识图谱嵌入技术对获取的信息进行泛化,通过一系列增量学习会话来评估机器人从未知上下文中学习实体和关系的能力。
- 从原始数据学习答集程序的神经符号学习
本文介绍了一种名为 NSIL 的神经符号归纳学习方法,通过训练一个通用神经网络,从原始数据中提取潜在的概念,同时学习映射潜在概念与目标标签的符号知识,从而解决复杂决策问题。我们在三个不同复杂度的问题领域上评估了 NSIL,包括 NP 完全问 - IJCAI评估神经网络逻辑松弛:一项全面研究
本文研究如何最佳地放松逻辑表达式,以便将符号知识纳入到神经网络中,重点是利用亚微分的 t - 范数放松逻辑表达式。通过理论和实证研究,我们为表征在不同情况下哪种松弛方式表现最佳提供了理论和实证标准,并针对在保留重言式方面,Lukasiewi - IJCAI基于知识的零样本学习:调查与展望
本论文从外部知识的角度综述了零样本学习的相关研究,讨论了符号知识在解决零样本学习和机器学习样本短缺问题方面的作用。
- 将符号知识嵌入深度网络
本文提出了一种基于图嵌入网络的符号知识应用方法,该方法将命题公式 (和赋值) 通过增强的 Graph Convolutional Network (GCN) 投射到流形上。通过识别节点异质性和结构约束等技术,我们能够生成语义上忠实的嵌入,提 - ICML深度学习中基于符号知识的语义损失函数
本文提出了一种新颖的方法,利用符号知识进行深度学习,引入了语义损失函数来约束神经网络输出的逻辑,并且在半监督多分类和结构化对象预测任务中实验验证,取得了几乎最优的结果。
- 神经知识语言模型
该研究提出了一种神经知识语言模型 (NKLM),将知识图提供的符号化知识与 RNN 语言模型相结合,通过预测所生成的单词是否具有潜在事实,从预测事实的描述中复制生成这些与知识相关的单词。实验结果表明,NKLM 显著提高了性能的同时,生成了更 - NIPS通过大型知识库中的概念学习能力构建记忆
该论文提出了一种新的神经知识库嵌入的视角,并构建了一个框架,可以在 KB 中建模符号知识及其学习过程。该框架不仅可以良好地规范以前的神经 KB 嵌入模型以获得卓越的推理性能,而且具有处理未见实体的能力,即从自然语言描述中学习它们的嵌入,这与