COLINGDec, 2020

使用 Transformer 进行事实链的自回归推理

PDF
TL;DR本文提出了一种迭代推理算法来实现多跳解释再生，该算法根据自然语言问题和其答案检索相关的事实证据。该算法通过自回归地从语料库中选取事实，以学习排序损失的方式来缓解多源证据的选择问题。使用预训练的 Transformer 模型进行实验，结果显示该算法在精度、培训时间和推理效率方面均优于先前的最先进技术。
发现论文，激发创造
  • 基于推理链的多跳问答

    该论文提出了一种在多步问题回答中维护显式推理过程的方法。该方法提取一个离散的推理链，并将其提供给一个基于 BERT 的 QA 模型来进行最终答案预测。我们的方法在两个近期提出的大型多跳问题回答数据集 ——WikiHop 和 HotpotQA 上进行了测试，并取得了令人瞩目的成果。

    Oct, 2019

  • 基于自然语言逻辑的自回归多跳文档检索方法用于事实核查

    我们提出了一种基于自回归公式的检索和重新排序方法，该方法用自然逻辑为基础，使用证明系统动态终止检索过程，同时使用比竞争系统少 5 到 10 倍的记忆，对 FEVER、HoVer 和 FEVEROUS-S 等数据集具有与当前最先进方法相当的性能。

    Dec, 2022

  • 面向科学问题的基于统一的多跳解释重构

    该论文提出了一个新的框架，用于在科学问答中重建多跳解释，并通过语料库分析集成词汇相关性和统一能力来排名一组原子事实。该框架具有与 Transformer 相媲美的结果，同时速度更快，可以支持大型解释语料库，并且构建的解释可以帮助下游 QA 模型，从而提高 BERT 整体的准确性。

    Mar, 2020

  • 利用推理链进行多跳科学问答

    提出一种无需语料库特定注释的 Chain Guided Retriever-reader（CGR）框架，通过生成由语义图构建的推理链，提高多跳科学问答的可解释性和性能，采用增强学习训练检索器，并设计了适用于本地和全局链信息的 Chain-aware loss 作为培训的远程监督信号。

    Sep, 2021

  • 多跳可扩展解释再生的混合自回归推断

    研究了在自然语言解释中使用双编码器模型进行科学推理，提出了一个名为 SCAR 的混合框架，该框架结合了基于变压器的双编码器和稀疏模型，能够在大规模事实库上实现复杂的多跳推理，并提高了下游推理任务的性能表现。

    Jul, 2021

  • 多跳阅读器是否梦想推理链？

    本文系统分析了多篇文章 QA 任务的多跳推理能力，在提供额外证据段落的情况下，对现有面向多跳阅读的方法进行了改进，并提出了基于匹配的方法，表明进行显示多跳推理可以提高 QA 任务的执行效果，推荐开发更好的推理模型。

    Oct, 2019

  • 后见之链中崛起的代理变形机

    本文利用 “chain of hindsight” 方法在强化学习中训练了一个能够直接综合多个轨迹信息的 transformer 模型，并通过在 D4RL 和 ExoRL 基准测试中的表现证明了它的竞争力和可伸缩性。

    May, 2023

  • 学习在维基百科图上检索推理路径用于问答

    介绍了一种基于图形的循环检索方法，学习在 Wikipedia 图形上检索推理路径来回答多跳开放域问答问题。该方法在三个开放域 QA 数据集上实现了最新技术成果，特别是在 HotpotQA 中表现出显著的改进，超过了以前最好的模型 14 个百分点以上。

    Nov, 2019

  • 使用递归神经网络对实体、关系和文本进行推理链

    本论文致力于将符号逻辑推理的多步骤推理与神经网络的概括功能相结合。在文本和大型知识库中对实体和关系进行复杂推理。提出了三种重要的建模方法：（1）学习联合推理关系（2）使用神经注意力建模多个路径（3）学习在单个 RNN 中共享强度，使用我们的方法在实验任务中实现了 25％的错误率降低，推理中的错误率降低了 84％。

    Jul, 2016

  • 追溯证据：构建基于知识的推理链用于检索增强生成

    TRACE 利用知识图谱和推理链的构建提升了多跳推理能力，通过利用检索文档中的支持证据回答问题，平均提升了 14.03% 的性能，并表明仅使用推理链作为上下文通常足以正确回答问题。

    Jun, 2024