Feb, 2023

大语言模型和答集编程实现可靠自然语言理解

PDF
TL;DR提出了一个结合了大型语言模型和逻辑编程 Answer Set Programming 的框架 STAR，通过在语言上提取知识并利用 ASP 进行规定驱动的推理，以提高针对需要推理的 NLU 任务的性能和可解释性。
language modelsreasoninganswer set programmingnlu tasksexplainable
发现论文，激发创造
  • 利用大型语言模型生成答案集程序

    本文提出了一种神经符号方法，将大型语言模型和答案集编程的优势相结合，以将逻辑谜题的自然语言描述转化为答案集程序。

    Jul, 2023

  • 将大型语言模型与逻辑编程相结合，从文本中进行稳健和通用的推理

    本研究探讨大型语言模型在自然语言推理任务上的表现。通过使用少量样本指导大型语言模型进行任务适应，以及可应用于多个任务的可重用的知识模块，结合逻辑形式输入的答案程序，实现了在多项 NLP 基准测试上的最新性能，包括 bAbI，StepGame，CLUTRR 和 gSCAN，并成功解决了机器人规划任务，而大型语言模型单独无法解决。

    Jul, 2023

  • A & B == B & A：在大型语言模型中触发逻辑推理失败

    我们引入了 LogicAsker，它是一种自动方法，全面评估和改进基于命题和谓词逻辑的大型语言模型的逻辑推理能力，并揭示了 LLM 未能学好的逻辑规则。我们评估了 LogicAsker 在 GPT-3、ChatGPT、GPT-4、Bard、Vicuna 和 Guanaco 等主要的大型语言模型上，并展示了 LogicAsker 的测试用例在不同 LLM 中发现逻辑推理错误的比率从 25% 到 94% 不等。此外，LogicAsker 的测试用例可以进一步用于设计上下文学习的演示例子，有效提高 LLM 的逻辑推理能力，如 GPT-4 提高了 10%。据我们所知，我们的工作是首次基于测试结果创建提示来有效提高 LLM 的形式推理能力。所有的代码、数据和结果都将被公开以供复制和未来研究。

    Jan, 2024

  • 自然语言编程学习

    使用自然语言作为一种新的编程语言来描述任务过程，让其易于被人类和 LMMs 理解，并进一步借助 Learning to Program (LP) 方法通过学习来自训练集中的自然语言程序，优化复杂任务的问题解决能力，该方法在 AMPS 和数学两个数据集上的有效性得到验证，证明其性能超过直接零样本测试表现 18.3%。

    Apr, 2023

  • 自然语言推理问题中使用语言模型进行知识获取

    本文通过在逻辑单词谜题上比较使用 ChatGPT 和 GPT-4 直接解决问题和提取问题文本事实并使用定理证明器解决两种方法，并得出后者是正确的方法来研究了利用大语言模型解决自然语言问题需要一些非平凡的推理。

    Apr, 2023

  • 理解人类对话的自动交互领域特定对话代理

    本文介绍了一种名为 AutoConcierge 的系统，该系统利用 LLMs 和 ASP 来开发一种可以真正 “理解” 人的对话的对话代理，从而在特定领域向用户提供有关当地餐厅的建议，是第一个能够像人一样进行真正对话并根据真正理解的人类话语提供帮助的自动对话代理。

    Mar, 2023

  • 语言模型是贪心推理器：对思维链的系统形式分析

    本文通过介绍一种新的合成问答数据集 PrOntoQA，旨在通过对 LLMs 的系统探索，该数据集是通过使用一阶逻辑表示的合成世界模型生成的。作者对 InstructGPT 和 GPT-3 进行了分析，表明 LLMs 能够进行正确的逻辑推理，但在方案规划方面存在困​​难。

    Oct, 2022

  • 借助解答集编程指导和多样化基于 LLM 的故事生成

    使用回答集编程（ASP）的高层次和抽象符号规范引导和多样化基于 LLM 的故事生成，产生比未引导的 LLM 更多样化的故事，并通过代码摘录证明 ASP-based outline generation 相较于完整的叙事规划具有改进的紧凑性和灵活性。

    Jun, 2024

  • CLMASP：将大型语言模型与答题集编程结合用于机器人任务规划

    使用 CLMASP 方法，通过结合大型语言模型 (LLMs) 和 Answer Set Programming (ASP) 的能力，能够生成可在具体机器人情境中执行的规划方案，大幅度提高了可执行率。

    Jun, 2024

  • 利用大语言模型将自然语言转换为计划目标

    本研究探讨了大型语言模型是否能够将自然语言的目标翻译成结构化的计划语言。我们使用 GPT 3.5 变种进行了实验，结果表明大型语言模型更适合进行翻译而不是规划，虽然这些模型能够利用常识知识和推理填补自然语言目标中缺失的细节，但在涉及到数字或物理推理的任务中，它们可能会出现失败，并且对所使用的提示信息很敏感。

    Feb, 2023