Nov, 2023

Symbol-LLM：借助语言模型进行视觉人类活动推理的符号系统

PDF
TL;DR人的推理可以理解为直觉、联想的 “系统 1” 和理性、逻辑的 “系统 2” 之间的协作。对于现有的视觉活动理解中的 “系统 1” 类似方法，整合 “系统 2” 处理以提高解释性、泛化性和数据效率至关重要。人类活动推理的一种可能路径是构建一个由符号和规则组成的符号系统，其中一条规则连接多个符号，暗示人类的知识和推理能力。先前的方法在不断进步，但由于手工制作的符号数量有限和基于视觉的注释的规则有限，从而未能涵盖活动的复杂模式并缺乏组合泛化。为了克服这些缺陷，我们提出了一个新的符号系统，具有两个理想的重要特性：广覆盖的符号和合理的规则。通过手动注释来收集大量的人类知识以实例化这个符号系统是昂贵的。相反，我们利用最近 LLMs（大型语言模型）的进展作为这两个理想属性的近似，即来自大型语言模型的符号（Symbol-LLM）。然后，给定一张图像，从图像中提取并检查视觉内容作为符号，并通过模糊逻辑计算的规则推理出活动的语义。我们的方法在广泛的活动理解任务中显示了优越性。代码和数据可以在此 https URL 找到。
human reasoningsymbolic systemlarge language modelsactivity understandingfuzzy logic calculation
发现论文，激发创造
  • 大型语言模型是神经符号推理器

    该论文研究了大型语言模型作为符号推理器的潜在应用，提出了一个针对符号挑战和实现游戏目标的 LLM 代理，并通过实验结果证明了其能显著增强 LLMs 作为符号推理自动化代理的能力，对涉及符号任务的基于文本的游戏取得了 88% 的平均性能。

    Jan, 2024

  • Logic-LM: 使用符号求解器增强大型语言模型进行可靠的逻辑推理

    Logic-LM 是一种将大型语言模型与符号推理相结合的框架，通过首先使用大型语言模型将自然语言问题转化为符号形式，然后进行确定性符号求解，以及自我精炼阶段来修正符号形式，在 ProofWriter、PrOntoQA、FOLIO 和 LogicalDeduction 等四个逻辑推理数据集上的结果表明，与仅使用大型语言模型相比，我们的方法可以显著提高逻辑推理的性能。

    May, 2023

  • Symbol-LLM: 面向大型语言模型的基础符号中心化界面

    Symbol-LLM 系列模型通过收集各种符号任务并注入符号知识，解决了大型语言模型面临的符号间关系和符号中心与自然语言中心能力平衡的挑战，实验结果表明 Symbol-LLM 系列模型在符号和自然语言任务上具有平衡和优越的性能。

    Nov, 2023

  • 元推理：针对大型语言模型的语义符号解构

    本文提出了元推理（Meta-Reasoning）的概念，通过符号解构，最大限度地将某些推理任务的不同问题转化为类似的自然语言表达式，从而使得大语言模型 (LLMs) 能够通过类比学习和促进数据有效的上下文学习，从而显著地提高推理能力，GPT-3 (text-davinci-002) 在使用一个元推理演示的情况下可以达到超过 99％的准确率。

    Jun, 2023

  • 大型语言模型应通过行为模拟成为复杂人类系统的专家顾问

    在本文中，我们探讨了大型语言模型（LLMs）在复杂人类系统中的推理能力，并提出了一种新的推理框架 ——“Mosaic Expert Observation Wall”（MEOW），利用生成型代理模拟技术。通过模拟数据训练一个专家模型，该模型在每个独立的模拟时间中专注于某个特定任务的 “经验”，通过模拟积累的 “经验” 使其成为复杂人类系统中某个任务的专家。我们在模拟真实世界安全场景的通信游戏中进行了实验，结果表明我们提出的方法可以与现有方法协同工作，增强大型语言模型在复杂人类系统中的推理能力。

    Mar, 2024

  • 大型语言模型是可解释学习者

    大型语言模型与符号程序的结合可以在构建人类中心预测模型时解决表达力和解释性之间的平衡问题。

    Jun, 2024

  • 大型语言模型的符号能力研究

    研究证实，大型语言模型在处理基于符号的任务时面临符号复杂度上升的挑战，强调了需要专门的训练、内存和架构调整以提高它们在符号推理任务中的熟练度。

    May, 2024

  • 大型语言模型是上下文语义推理者而非符号推理者

    本文研究了大型语言模型 LLMs 的推理能力，通过对语义从推理过程中的剥离进行实验，发现语义在 LLMs 的推理中起着至关重要的作用，但在符号逻辑和违反常识的推理任务中表现出困难。作者提出了这一发现的新视角，并呼吁深入研究 LLMs 的推理机制。

    May, 2023

  • 面向可解释和语言无关的 LLMs：大规模语言符号逆向工程

    本文讨论了大规模语言模型的局限性和其基于深度神经网络的内在架构所造成的影响，提出了使用符号表示和基于底层反向工程重构语言的方法来弥补这些局限性。

    May, 2023

  • 将符号推理与语言建模相结合，实现对非结构化电子医疗记录的高效纵向理解

    人工智能在医疗保健领域的应用具有革命性，特别是在基于变压器的大型语言模型 (LLM) 的最新进展方面。本文研究了将符号推理与语言建模相结合，以改进对非结构化临床文本的理解的能力。我们展示了这种组合方式提高了从非结构化记录中提取多个医学变量的效果。此外，我们还展示了无广告商业免费 LLM 的检索能力与商业 LLM 相媲美。最后，我们阐述了通过符号推理对 LLM 进行引导的必要性，因为仅仅使用 LLM 会导致性能最低。

    Aug, 2023