- NormTab:通过表格数据规范化改进 LLMs 中的符号推理
该研究介绍了一种名为 NormTab 的新型框架,旨在通过规范化网页表格来提高大型语言模型在符号推理任务中的性能。实验证明,利用 NormTab 显著提高了符号推理性能,为增强基于大型语言模型的符号推理任务的重要性和有效性提供了充分的证据。
- LARS-VSA:用于学习抽象规则的矢量符号架构
人类认知在符号推理方面表现出色,从有限样本中推导出抽象规则。本文通过结合符号和连接主义方法,提出了一种神经符号化结构;同时,在学习有限数据量时,采用了将对象级特征与抽象规则分离的 “关系瓶颈” 策略。此外,本文借助于鲁棒性更强的高维计算方法 - LLMSat: 大型基于语言模型的面向目标的自主空间探测智能体
使用大型语言模型作为高级控制系统,在航天器的设计和开发中通过利用语言模型作为推理引擎,评估该架构在实现更高级别航天器自主性方面的效用。
- 大型语言模型是对比推理者
对比提示(CP)显著提高了大语言模型在复杂推理方面的能力。零 - shot 对比提示在算术、常识和符号推理任务上提升了性能,无需手动设计少数训练示例,与当前最先进的 GPT-4 模型相比,在 GSM8K 的准确率从 35.9% 提升至 88 - ICLR思维链串联变压器解决本质上串行的问题
通过表达能力的角度,本文从理论上解释了串行思维链(CoT)对仅解码器的变压器的增强作用,通过对中间步骤(即 CoT)的生成模型进行指导,可以显著提高大型语言模型在算术和符号推理任务上的准确性。
- 从数据中推断抽象的统一符号推理模型
从神经科学的贝叶斯方法论中汲取灵感,我们提供了一种统一的概率模型,用于从数据中进行各种类型的符号推理。我们使用经典后果关系、经验后果关系、最大一致集、最大可能集和最大似然估计来描述它们,该理论为实现类人机智能的推理过程提供了新的见解。
- AAAI大型语言模型是神经符号推理器
该论文研究了大型语言模型作为符号推理器的潜在应用,提出了一个针对符号挑战和实现游戏目标的 LLM 代理,并通过实验结果证明了其能显著增强 LLMs 作为符号推理自动化代理的能力,对涉及符号任务的基于文本的游戏取得了 88% 的平均性能。
- 机器人模仿人类动作
通过模仿学习,我们能够快速理解一个新任务,通过演示,我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法,解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信 - 大型语言模型能够学习时间推理
我们提出了一种新的基于文本的时间推理模型 TempGraph-LLM,通过将上下文翻译成时间图,教导大型语言模型 (LLMs) 学习时间概念。我们证明了在其他任务上的预训练对 LLMs 的效益,并通过思路链的引导和特殊数据增强引导 LLMs - 用大型语言模型重新思考表格数据理解
通过对大型语言模型的研究,揭示了它们在解释和推理表格数据方面的能力,发现表格结构变化对模型性能的影响,提出了表格结构归一化的方法,并且比较了文本推理和符号推理,同时通过多个推理路径的聚合,取得了在 WIKITABLEQUESTIONS 任务 - 逻辑与学习之桥:一种增强神经模型推理能力的神经符号方法 (ASPER)
该研究通过融合神经网络和符号推理的神经符号学习方法,以提高神经模型在推理任务上的性能,通过整合 ASP 求解器和领域特定专业知识来训练浅层人工神经网络(ANN)以解决数独难题,有效提高了训练效率,超参数调优无需 12 个数独练习即可显著改善 - 混合语言符号推理的自然语言嵌入程序
提出自然语言嵌入程序作为一种统一的框架,用于解决需要符号和数值推理的任务,其中该方法促使语言模型生成包含自然语言表示结构化知识的数据结构上定义函数的完整 Python 程序,然后 Python 解释器执行生成的代码并打印输出。尽管使用了通用 - 一种新的统计关系学习下的神经符号系统
提出了一种名为 GBPGR 的广义双层概率图推理框架,通过使用统计关系学习启发式地集成了深度学习模型和符号推理,以解决当前人工智能领域中深度学习和符号推理相结合的方法在组合方式、泛化性和可解释性方面的局限性,并通过大量实验证明了该方法在转导 - ICCV基于逻辑推导的半监督语义分割的诊断推理
通过理性诊断符号引导冲突,LogicDiag 逐步解决伪标签内的冲突,恢复错误伪标签,最终减轻错误积累问题;在三个标准半监督语义分割基准测试中证明了 LogicDiag 的有效性和广泛适用性,并突出了系统集成符号推理与统计、神经学习方法中出 - 使用可证明保证的方法解读神经符号学习中的原始数据
通过逻辑推理,将感知模型与由符号知识库推断出的信息相结合的神经符号混合系统在整合机器学习和符号推理方面具有很大潜力。虽然经验证据显示了混合系统学习准确感知模型的能力,但对于可学性的理论理解仍然缺乏。本文通过研究知识库来解决这个问题,并提出了 - 将符号推理与语言建模相结合,实现对非结构化电子医疗记录的高效纵向理解
人工智能在医疗保健领域的应用具有革命性,特别是在基于变压器的大型语言模型 (LLM) 的最新进展方面。本文研究了将符号推理与语言建模相结合,以改进对非结构化临床文本的理解的能力。我们展示了这种组合方式提高了从非结构化记录中提取多个医学变量的 - ACL大型语言模型中的符号数学问题推理
该论文研究了大型语言模型在数学问题推理方面的能力,特别关注符号推理在数值问题中的准确性,并通过自提示的方法提高了符号准确性,为模型提供了简洁可验证的推理能力。
- 大型语言模型的高级推理基准
大型语言模型在各种定量推理和知识基准测试中表现出色。然而,尽管尚未达到这些领域的专家水平,但许多这些基准测试由于 LLMs 的得分越来越高而失去了效用。我们引入了 ARB,这是一个由多个领域中的高级推理问题组成的新型基准测试。ARB 比以前 - 简单算术问题系统化泛化的混合系统
提出了一种混合系统,通过学习适当的替换规则并迭代应用这些规则到输入字符串,能够解决需要在符号序列上进行组合和系统推理的算术问题。
- 代码提示:一种用于大型语言模型中的复杂推理的神经符号方法
本研究提出了一种叫做 code prompting 的新型神经符号提示方法,通过触发代码作为中间步骤,以实现符号和算术推理任务一直面对的语言及理解难题。经过对七项广泛使用的基准测试进行实验验证,研究者发现 Code Prompting 方法