Apr, 2023

ChatABL: 基于自然语言交互的诱因推理学习与 ChatGPT

PDF
TL;DR该研究论文提出了一种将大型语言模型（LLMs）与溯因学习（ABL）框架相结合的新方法（ChatABL），旨在以更易于理解的方式统一感知、语言理解和推理能力，进一步接近人类水平的认知能力。该方法通过将自然语言格式中表示的推理规则进行总结和重新组织，利用 LLM 的理解和逻辑推理的优势来校正不完整的逻辑事实，以优化感知模块的性能，并提供必要的推理示例，以自然语言的形式为 LLMs 提供帮助。研究结果表明，ChatABL 在抽象表达上超越了大多数现有的最先进方法，并具有超越人类的推理能力。
large language modelsabductive learningperceptionreasoningchatabl
发现论文，激发创造
  • 利用符号库进行归纳推理的神经数学推理方法增强

    通过离散型系统和抽象学习框架的组合，提出了 ABL-Sym 算法，将 Transformer 神经模型与符号数学库相结合，从而在数学推理数据集上显示出显著的准确性提高。

    Mar, 2022

  • 通过 Abductive 学习进行神经感知和逻辑推理的隧道

    本研究提出基于 “缺省推理” 思想的联合感知和推理框架来实现人工智能的人类水平认知能力，并建立了神经逻辑机来实现该框架。实验证明，该框架在从少量手写公式数据中学习后，能够很好地推广到复杂的新数据中，并在人工智能领域中标志着开创了一种新的研究方向。

    Feb, 2018

  • A & B == B & A：在大型语言模型中触发逻辑推理失败

    我们引入了 LogicAsker，它是一种自动方法，全面评估和改进基于命题和谓词逻辑的大型语言模型的逻辑推理能力，并揭示了 LLM 未能学好的逻辑规则。我们评估了 LogicAsker 在 GPT-3、ChatGPT、GPT-4、Bard、Vicuna 和 Guanaco 等主要的大型语言模型上，并展示了 LogicAsker 的测试用例在不同 LLM 中发现逻辑推理错误的比率从 25% 到 94% 不等。此外，LogicAsker 的测试用例可以进一步用于设计上下文学习的演示例子，有效提高 LLM 的逻辑推理能力，如 GPT-4 提高了 10%。据我们所知，我们的工作是首次基于测试结果创建提示来有效提高 LLM 的形式推理能力。所有的代码、数据和结果都将被公开以供复制和未来研究。

    Jan, 2024

  • ChatGPT 在声明验证背景下的推理能力评估

    我们提出了一个基于逻辑推理的框架，用于将宣称或传言与证据分解为验证所需的原子推理步骤，并通过维基百科的合成数据集和在 Twitter 上流传的谣言的真实数据集对 GPT-3.5-Turbo 和 GPT-4（以下简称 ChatGPT）的推理能力进行评估，结果显示 ChatGPT 在因果推理方面存在困难，但通过使用手动 Chain of Thought（CoT）而不是 Zero Shot（ZS）和 ZS CoT 方法可以在一定程度上缓解这一问题。我们的研究为 ChatGPT 的推理过程不太可能与人类类似的推理过程相一致，并且指出 LLMs 需要在高风险的实际任务（如宣称验证）中进行更严格的评估，以区分炒作和实际能力。

    Feb, 2024

  • ChatLLM 网络：更多的智能，更多的大脑

    本文提出 ChatLLM 网络，利用多个基于 ChatGPT 的对话语言模型协同解决问题的能力，加入了一种反向传递更新系统，展现了这个网络在问题解决方面的显著性能提升。

    Apr, 2023

  • 大型语言模型的逻辑推理能力系统评估

    最近发展的大型语言模型 (LLMs) 在各种语言理解任务上表现出色，但它们真正能够对自然语言进行 “推理” 吗？本文综合评估了 LLMS 在涵盖命题逻辑、一阶逻辑和非单调逻辑的 25 种不同推理模式上的逻辑推理能力，并引入了 LogicBench，一个关注单个推理规则使用的自然语言问答数据集，通过使用一系列的连贯思维提示与 GPT-4、ChatGPT、Gemini、Llama-2 和 Mistral 等多个 LLMS 进行详细分析。实验结果表明，现有的 LLMS 在 LogicBench 上表现不佳，尤其在涉及复杂推理和否定的情况下遇到困难，并有时忽视推理所需的上下文信息以得出正确结论。我们认为我们的工作和发现将有助于未来评估和提升 LLMS 的逻辑推理能力。

    Apr, 2024

  • 大型语言模型真的是良好的逻辑推理者吗？从演绎、归纳和举例推理的综合评估

    本文针对大型语言模型的逻辑推理能力进行全面评估，选择 15 个经典数据集，评估模型的零点、单点和三点能力，提出客观和主观的细化评估方法，归纳出 LLMs 的逻辑推理能力的优势和不足并提出未来方向。

    Jun, 2023

  • 一个多任务、多语言、多模态的 ChatGPT 推理、幻觉和交互评估

    本文提出了一个评估 ChatGPT 等交互式 LLM 的框架，使用公开数据集进行多任务、多语言和多模态方面的评估，发现 ChatGPT 能够生成多模态内容，但是其推理能力较差，存在幻觉问题，但通过 “提示工程” 可以与人类协作，提高性能。

    Feb, 2023

  • ChatGPT 是否能捍卫真相？自动辩证评估揭示了大语言模型推理中的不足

    我们探讨了如何通过进行辩论式的对话来测试大型语言模型（LLM）的推理能力，以此来衡量模型是否真正理解了问题的本质。对多个复杂的推理测试进行实验表明，尽管 ChatGPT 等模型一开始可以生成正确的解决方案，但在面对荒谬的无效论据时，它们无法保持对真理的信仰。

    May, 2023

  • GPT-4 语言模型的诱因推理：刑侦、医疗实践和科学研究的案例研究

    本研究评估了 GPT-4 大型语言模型在医学诊断、犯罪学和宇宙学等复杂领域中的推理能力。通过交互式面试形式，该 AI 助手展示了在生成和选择假设方面的可靠性。它基于病人数据推测出可行的医学诊断，并在犯罪学和宇宙学领域提供了潜在的原因和解释。研究结果突出了 LLM 在复杂问题解决方面的潜力，并强调了进一步研究以最大化它们实际应用的必要性。

    Jul, 2023