ACLMar, 2022

AbductionRules: 训练 Transformer 解释意料之外的输入

PDF
TL;DR该研究旨在探讨 Transformer 网络在自然语言的事实和规则上的逻辑推理，但未充分研究其在归纳推理中的应用。AbductionRules 是一组自然语言数据集，旨在训练和测试自然语言知识库上的归纳推理的可推广性。通过 Fine-tuned 预训练过的 Transformers 模型，研究者发现模型学习了可推广的归纳推理技巧，并利用了数据结构。最后，研究者还探讨了这种方法的可行性以及未来的改进方向。
发现论文，激发创造
  • 归纳常识推理

    本研究介绍了一项关于抽象推理的新研究，并提出了两个基于新数据集 ART 的任务 ——《抽象自然语言推理》和《抽象自然语言生成》。 该研究分析了当前最佳自然语言生成器的性能水平，探索了现有深度学习模型在推理能力方面的局限性，并在进一步的研究中提出了有趣的新方向。

    Aug, 2019

  • 学习作为推理：可训练的自然逻辑定理证明器用于自然语言推理

    论文介绍了一种基于逆推的推理方法 (abduction)，该方法在自然语言推理中的应用可以有效地提高定理证明器的性能，提高处理语义关系的精度。

    Oct, 2020

  • 非常规推理：关于非常规情况的归纳推理

    通过研究不寻常、意外和不太可能的情境，我们探索了非常识性推理的能力，发布了一个名为 UNcommonsense 的英语语料库，并比较人类解释者和最佳大型语言模型的表现差异，最终尝试了几种在线模仿学习算法来训练开放和易用的语言模型，在人工评估中，这些方法在常见和非常识性推理上一致降低了错误率。

    Nov, 2023

  • 基于互斥解释的引入式常识推理

    本文提出一种利用后验正则化来促进建模向区分流畅解释和可信解释的逻辑推断模型，以实现无样本学习的非监督归纳通用推理的方法，并在多个推理数据集上进行实验，结果表明此方法在零样本学习上表现出色，优于直接应用预训练语言模型和其他知识增强方法。

    May, 2023

  • 基于原子知识库的机器翻译的规则学习

    机器学习模型，特别是语言模型，被应用于需要推理的各种任务。我们探索了 transformers 将自然语言中表达规则的句子翻译成逻辑规则的能力，以便进行可信的和受控制的逻辑推理。通过使用 DKET 数据集和基于 Atomic 知识库的语言到逻辑翻译数据集进行实验。

    Nov, 2023

  • 知识图谱上的归因逻辑推理

    提出了一种针对知识图谱的诱导逻辑推理任务的生成模型方法，该方法使用监督学习和增强学习从观测中生成逻辑假设，并借助增强学习从知识图谱中提供更好的观测解释，实验证明该方法在三个常用知识图谱上取得了最先进的结果。

    Dec, 2023

  • 变压器作为语言上的软推理器

    本论文研究一种新的知识表示方法，采用自然语言句子代替形式化表示，并使用合成数据训练 Transformer 模型进行推理。该方法有望提供一种新的 “软定理证明器” 的运作方式，用于问题回答，实现解释性、校正性和反事实推理等新功能。

    Feb, 2020

  • 教授 Transformer 概率逻辑推理

    本研究分析了 transformer-based 语言模型中的概率逻辑规则应用，并提出了 Probabilistic Constraint Training (PCT) 方法，该方法显式地模拟了概率逻辑推理，并在新的 QA 基准中评估了其准确性和可解释性。结果表明，该方法可以提高基本语言模型在需要概率逻辑推理时的准确性和解释性，并且该技术的学习也可适用于新的情境。

    May, 2023

  • 视觉诱导推理

    本文提出了一种基于可视信息的机器智能推理任务及对应数据集 Visual Abductive Reasoning (VAR)，并基于 VAR 数据集设计了一个基于 causual-and-cascaded reasoning Transformer 模型的强基线模型 Reasoner，用于抽象观测到的信息并推测可能的假设，实验表明 Reasoner 的性能超过多个著名的视觉语言模型，但仍远不及人类表现。

    Mar, 2022

  • 福尔摩斯事件：一个用于视觉拟合推理的数据集

    本文提出了 Sherlock 数据集作为机器人推理能力测试的基础，并在此基础上对机器学习模型的推理能力以及人与机器的差距进行了研究和探讨，结果表明目前的最先进技术还有非常大的提升空间。

    Feb, 2022