May, 2021

逻辑驱动的上下文扩展和数据增强用于文本逻辑推理

PDF
TL;DR本研究提出了一种理解文本中逻辑符号和表达式以得出答案的方法，并基于此提出了一种扩展文本上下文的框架和一种数据增广算法，可以更好地捕捉逻辑信息，特别是关于逻辑否定和条件关系，结果表明这种方法在 ReClor 数据集上实现了最先进的性能，多模型集成系统是第一个在 ReClor 的 EASY 和 HARD 数据集上超过人类表现的系统。
发现论文，激发创造
  • 基于逻辑驱动数据增强的对比学习，用于文本推理

    该论文提出了基于 AMR-LE 方法的数据增广技术，并使用对比学习训练语言模型，可以在多个 NLP 任务中提高性能表现，包括 ReClor，LogiQA，MNLI，MRPC，RTE，QNLI 和 QQP。

    May, 2023

  • 大规模语言模型对于超领域逻辑推理任务的系统评估

    大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

    Oct, 2023

  • 具有上下文敏感声明性语法的扩展合成逻辑推理数据集

    利用培训语言模型模仿定理证明器在过程生成的问题上进行逻辑推理仍然是自然语言处理的一个挑战。我们提出了一个更简单、更普遍的声明性框架，通过灵活的上下文敏感规则来绑定多种语言（特别是简化英语和 TPTP 定理证明语言），从而改进了逻辑推理的能力。我们使用语义约束在生成过程中，并对谓词进行仔细的英语表达，提高了逻辑推理能力，而不损害自然英语任务。我们使用相对较小的 DeBERTa-v3 模型在人类编写的逻辑数据集 FOLIO 上实现了最先进的准确性，在有或无外部求解器的情况下，精度超过了 GPT-4 12%。

    Jun, 2024

  • 逻辑引导的数据增强和正则化技术，用于一致性问答

    本文通过整合逻辑规则和神经模型，使用基于一致性的正则化来提高问答任务中对比问题的响应的准确性和一致性，该方法在各种问题回答（QA）任务中获得大幅提高。特别是，在数据集中，我们的方法使 RoBERTa 模型的性能提高了 1-5％，，并在 WIQA 和 QuaRel 上将现有技术水平提高了约 5-8％，在 HotpotQA 上减少一致性违规 58％。同时，我们进一步证明了我们的方法可以从有限的数据中有效地学习。

    Apr, 2020

  • 解离逻辑：大型语言模型推理能力中的上下文作用

    通过调查来自一系列领域中的抽象和上下文逻辑问题的对比，本研究旨在系统地分离纯逻辑推理和文本理解。我们探讨当基础逻辑结构保持不变时，LLMs 在各个领域中是否展示出真正的推理能力。

    Jun, 2024

  • 基于 Transformer 的描述逻辑上下文推理

    通过使用描述逻辑知识库构建一个合成的自然语言问答数据集，本研究评估了基于 transformer 的模型在推理能力、合成语境和知识库相关的问题上的表现，并展示了模型在训练过程中对不同推理深度的泛化能力。

    Nov, 2023

  • ReClor：需要逻辑推理的阅读理解数据集

    本研究旨在引入一个新的、需要逻辑推理的阅读理解数据集（ReClor），以推动对文本更全面的推理。实证研究结果表明，针对存在偏见的数据点并将其分为简单和困难集合，可对模型的逻辑推理能力进行全面的评估，从而在提高模型性能的同时，推动领域内更多的研究。

    Feb, 2020

  • 信息重组改善大型语言模型推理能力

    提出了一种信息重新组织（InfoRE）方法，通过在推理之前对上下文内容进行重新组织处理，从而增强了大型语言模型（LLMs）的推理能力。在各种上下文感知的多跳推理任务中，通过零射击设置，我们实验评估了该方法在 Llama2-70B、GPT-3.5 和 GPT-4 上的效果，平均改进了 3％，突显了它改善 LLMs 推理性能的潜力。

    Apr, 2024

  • 具境语境的数据增强：使用词形关系进行数据增强

    本文介绍了一种新的数据增强技术 —— 上下文增强，使用双向语言模型预测单词位置上各个单词，将其替换为预测出的单词增强原句子，同时使用带标签的模型改进以确保模型增强句子不破坏标签状态，并在六种不同的文本分类任务中实验证明该方法可以改善基于卷积或循环神经网络的分类器。

    May, 2018

  • MERIt: 基于元路径引导的对比学习用于逻辑推理

    通过 MEta-path 引导对比学习方法为文本逻辑推理提供自监督的预训练，在自然语言理解中解决语料库稀疏性导致的过度拟合和泛化问题。

    Mar, 2022