ACLJun, 2023

面向指标的逻辑预训练 (IDOL)：用于逻辑推理

PDF
TL;DR本文提出了一种易于理解但非常有效的进一步预训练任务，IDOL（InDicator-Oriented Logic Pre-training），通过 6 种逻辑指示符和一个逻辑丰富的数据集 LGP（LoGic Pre-training）在逻辑上增强了预训练模型，使其在逻辑推理 MRC 领域的两个代表性基准测试 ReClor 和 LogiQA 上取得了最先进的性能，并被证明能够概括到不同的预训练模型和其他类型的 MRC 基准测试中。
machine reading comprehensionlogical reasoningidolpre-training tasklogically rich dataset
发现论文，激发创造
  • 大规模语言模型对于超领域逻辑推理任务的系统评估

    大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

    Oct, 2023

  • APOLLO: 适应性预训练逻辑推理语言模型的简单方法

    本文提出了一个适应性预训练语言模型 APOLLO，使用特定的逻辑推理关键词来选择维基百科的子集进行预训练，使用自我监督损失函数进行训练，无需特定的任务格式，与基线模型相比，在逻辑推理数据集上表现相当或更好。

    Dec, 2022

  • LogiGLUE: 逻辑推理能力的语言模型分析调查和基准评测

    通过对最新进展的简要回顾，本文试图了解大型语言模型在逻辑推理方面的能力，包括逻辑推理数据集、任务以及利用大型语言模型进行推理的方法。通过构建基准测试集 LogiGLUE，并训练一个经过指令微调的语言模型 LogiT5，研究了单任务训练、多任务训练以及思维链知识蒸馏微调技术在不同逻辑推理类别上的表现，旨在揭示大型语言模型在逻辑推理中的能力和潜在路径，为该关键领域的高级和精细化发展铺平道路。

    Oct, 2023

  • MERIt: 基于元路径引导的对比学习用于逻辑推理

    通过 MEta-path 引导对比学习方法为文本逻辑推理提供自监督的预训练，在自然语言理解中解决语料库稀疏性导致的过度拟合和泛化问题。

    Mar, 2022

  • 语言模型可作为逻辑求解器

    LoGiPT 是一种新颖的语言模型，通过直接模拟逻辑求解器的推理过程并严格遵守求解器的语法规则，绕过分析错误，并在竞争的语言模型上表现出优异的性能。

    Nov, 2023

  • GLoRE：评估大型语言模型的逻辑推理能力

    该篇研究论文主要介绍了大型语言模型的逻辑推理能力评估，提出了一个名为 GLoRE 的评估基准，包含 12 个数据集，通过实验证明了 ChatGPT 和 GPT-4 在逻辑推理方面的强大能力，并提出了改进方法，发布了数据集和评估程序以促进未来的研究。

    Oct, 2023

  • LogiGAN: 基于对抗预训练的逻辑推理学习

    LogiGAN 是一种无监督的、改进语言模型逻辑推理能力的对抗预训练框架，采用检测启发式方法自动识别大规模文本语料库中的逻辑推理现象，并通过敌对的生成 - 验证者架构来模拟学习思考过程的促进作用。实验表明，采用 LogiGAN 预训练后的语言模型在需要普遍推理能力的 12 个数据集上表现明显优于基线，揭示了逻辑在广泛推理中的基础作用以及 LogiGAN 的有效性。

    May, 2022

  • LogicLLM: 探索基于自监督逻辑增强训练的大型语言模型

    本篇论文主要介绍了如何通过自监督后训练和上下文学习来增加逻辑知识，从而提高语言模型的逻辑推理能力，取得了比现有基线更好的效果。

    May, 2023

  • 面向关系推理的 LLMs：我们离目标有多远？

    通过对归纳逻辑编程基准测试的深入评估，本研究表明与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。

    Jan, 2024

  • 通过自我监督课程学习增强嵌套布尔逻辑

    语言模型的认知能力强大，本研究探讨了其推理能力是源于强大的泛化能力还是仅仅是与相关数据的接触。研究发现，任何预训练的语言模型，包括大型语言模型，在面对多层布尔逻辑时只能表现为随机选择器。为了赋予语言模型这种根本能力，本文提出了一种新的自监督学习方法 “课程逻辑推理（CLR）”，通过逐步在训练数据中增加嵌套的布尔逻辑链，并逐渐训练模型从简单的逻辑模式到更难的模式。这种新的训练范式使得语言模型能够有效地泛化到更难且更复杂的逻辑，这是通过简单的训练难以学习到的。此外，研究还表明，布尔逻辑是提高后续通用逻辑任务的良好基础。

    Oct, 2023