LogicLLaMA 是一种基于 LLaMA-7B 模型的、使用 LoRA 进行 NL-FOL 翻译的算法，通过新颖的 SFT+RLHF 框架进行调整，能够将自然语言直接翻译为一阶逻辑规则，并具有对 GPT-3.5 生成的规则进行校正的能力。

May, 2023

本文介绍了 FOLIO 数据集，其为具有 FOL 注释的自然语言推理（NL）数据集，可用于推理 NL 的有效性，包括了 NL-FOL 翻译数据集。文中还通过实验验证了中等型语言模型（BERT、RoBERTa）和大型语言模型（GPT-NeoX、OPT、GPT-3、Codex）在 FOL 推理方面的能力以及 GPT-3 和 Codex 用于 NL-FOL 翻译的效果。

Sep, 2022

大型语言模型 (LLMs) 在很多推理任务中表现出良好的性能，但在某些复杂推理任务，特别是逻辑推理方面仍然存在困难。为了评估 LLMs 的逻辑谬误理解能力 (LFU)，我们在本文中从 WHAT、WHY 和 HOW 三个认知维度中提出了五个具体任务。为了解决这些 LFU 任务，我们成功构建了一个新的基于 GPT-4 的数据集 LFUD，只需少量人工参与。我们的广泛实验证明，我们的 LFUD 不仅可以用于评估 LLMs 的 LFU 能力，还可以通过微调 LLMs 在逻辑推理方面获得显著的性能提升。

Apr, 2024

本篇研究使用神经网络模型来实现自然语言文本到一阶逻辑表达式的语义解析，在此基础上提出了一种改进的编码 - 解码模型，能够更加准确地生成一阶逻辑公式，并通过大规模数据集的评估证明了这种方法的有效性和可扩展性。最终将研究代码和数据集公开，为进一步的基于逻辑的 NLP 相关研究提供便利。

Feb, 2020

本研究论文介绍了一种名为 FOLK（First-Order-Logic-Guided Knowledge-Grounded Reasoning）的方法，用大型语言模型（LLMs）进行复杂声明的验证和解释生成，同时不需要基于人工标注的证据。该方法通过将声明转化为由谓词组成的一阶逻辑子句，每个谓词对应需验证的一个子声明，并利用一组知识基础的问答对进行一阶逻辑引导的推理，从而做出真实性预测并生成解释以说明其决策过程，使模型高度解释性。实验结果表明，FOLK 在涵盖各种声明验证挑战的三个数据集上优于强基线模型。

Oct, 2023

提出了基于案例推理和语言建模技术的方法，探讨在检测 Web 上的逻辑谬误方面提高模型精确性和泛化能力的策略，并在实验中证实关键识别案例在模型精确性中具有重要作用。

Jan, 2023

研究探索了大型语言模型 (LLMs) 在多轮辩论中的理性思考能力，通过研究谬误论证对其逻辑推理表现的影响。使用 Logic Competence Measurement Benchmark (LOGICOM) 来评估 LLMs 对逻辑谬误的鲁棒性，发现 GPT-3.5 和 GPT-4 在通过推理改变观点方面有潜力，但在面对逻辑谬误时，比起使用逻辑推理，GPT-3.5 和 GPT-4 更容易错误地被说服。提供了包含逻辑和谬误论证对的数据集。

Aug, 2023

本研究提出了逻辑谬误检测任务，并提供一个包含逻辑谬误的数据集 Logic 及其子集 LogicClimate，希望能通过一个理解论据基础逻辑结构的新型分类器来解决传统大型语言模型效果较差的问题，该任务可作为语言模型的新型推理挑战，并在打击错误信息传播方面发挥重要作用。

Feb, 2022

提出了一种使用大型语言模型进行自然语言到时间逻辑（Temporal Logic）转换的框架，实现了跨领域通用模型的构建，提高了模型泛化能力，并在五个不同领域上进行了测试，效果良好。

May, 2023

大型语言模型在逐步推理指令（例如思维链提示）方面具有优势。在此基础上，它们在执行连贯思维推理方面的鲁棒性是一个值得探究的问题。本研究检验大型语言模型在逐步推理能力方面，重点关注难以处理的核心语言现象 —— 否定。通过引入几个受控设置（例如处理虚构实体时的推理）来评估模型的逻辑推理能力。我们观察到当进行逐步推理时，许多现代大型语言模型在处理否定词（例如 plausible -> implausible）时不具有鲁棒性，研究结果凸显了每个大型语言模型家族中独特的局限性。

Oct, 2023