Oct, 2022

DyREx: 动态查询表示用于抽取式问答

PDF
TL;DR提出了一种新的方法 ——DyREx，通过 transformer 层的 attention 机制动态计算给定输入的 query 向量来提高 extractive question answering 的性能。
extractive question answeringnatural language processingtransformerquery vectorsdyrex
发现论文，激发创造
  • D-REX: 带有解释的对话关系提取

    本研究采用半监督算法 D-REX，以中间步骤的关系和实体特定解释为桥梁，将关系提取视为重新排序任务，并在对话关系提取数据集上进行评估，取得了 13.5% 的最优 F1 得分。

    Sep, 2021

  • 机器阅读理解的合作自训练

    本研究提出了一个基于问答式任务的互动型学习环境下的 RGX 合作自训练框架，它可以自动产生更多的问题 - 答案对，以提高模型性能。实验证明，该框架在标准问答质量评估中表现优于预先训练模型和基于转移学习的方法。

    Mar, 2021

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 学习循环跨度表示与摘要式问答

    本文针对 SQuAD 数据集所提出的答案抽取任务，通过循环网络有效地构建了证据文档中所有跨度的固定长度表示，证明对显式跨度表示进行评分显著优于其他方法，并在 Wang＆Jiang（2016）的最佳已发布结果上提高了 5％，并且将 Rajpurkar 等人的基线误差减小了 50％以上。

    Nov, 2016

  • 一种灵活框架的零样本文档级问答检测、检索和理解

    本文提出了一种三阶段文件 QA 方法，包括从 PDF 中提取文本，从提取的文本中检索证据以形成良好的上下文，以及从上下文中提取 3 种类型的知识（抽取式、生成式或布尔式）。通过对 QASPER 的评估，DRC 系统在交付更优的上下文选择的同时，Answer-F1 达到了 +7.19 的提高。结果表明，DRC 在科学文献 QA 中有很大的亮点。

    Oct, 2022

  • DyRRen: 动态检索 - 重排 - 生成器模型 在表格和文本数据上用于数值推理

    本文提出了一种名为 DyRRen 的扩展检索 - 筛选 - 生成（retriever-reranker-generator）框架，其中每个生成步骤都通过动态的筛选和重新排序所检索到的句子来增强，可以应用于数值推理和融合表格与长文本的 AI 任务中，并在 FinQA 数据集上胜过现有的基线方法。

    Nov, 2022

  • 基于注意力引导的生成模型用于抽取式问答

    本文提出了一种新的方法，利用 Transformer 模型进行抽取式问答。该方法利用预训练的生成式模型，并结合内部 cross-attention 机制实现了良好的表现，同时使用较少的参数，使模型能够进行幻觉式推断，并提高模型重排相关段落的能力。

    Oct, 2021

  • 基于预训练生成模型的问题回答适应性

    本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

    Nov, 2023

  • QUADRo: 问题 - 答案数据库检索的数据集和模型

    本文提出了一种基于神经信息检索和重新排名的自动问答系统，利用包含 6.3M 问题和回答对的数据库，实现了开放域问答并超越了传统的非结构化文本或图形搜索方法，并证明了基于 Transformer 模型的 (q,a) 对比仅考虑问题表示更优，该方法具有和在 BING 搜索引擎上构建的 QA 系统竞争的优点。

    Mar, 2023

  • ReQA: 面向端到端答案检索模型的评价

    本篇论文介绍了一个用于评估大规模句子级别答案检索模型的基准 Retrieval Question-Answering（ReQA），并使用神经编码模型和传统信息检索技术建立了基线。我们提供我们的评估代码以鼓励更多关于这一具有挑战性的任务的研究。

    Jul, 2019