Jul, 2019

ReQA: 面向端到端答案检索模型的评价

PDF
TL;DR本篇论文介绍了一个用于评估大规模句子级别答案检索模型的基准 Retrieval Question-Answering（ReQA），并使用神经编码模型和传统信息检索技术建立了基线。我们提供我们的评估代码以鼓励更多关于这一具有挑战性的任务的研究。
retrieval question-answeringanswer retrievalneural encoding modelsinformation retrieval techniqueslarge-scale
发现论文，激发创造
  • MultiReQA：跨领域检索问答模型评估

    本文介绍了一个新的多领域检索问题回答（ReQA）评估套件 MultiReQA，使用两个监督性神经模型（基于精调的 BERT 和 USE-QA 模型）及一个信息检索基线 BM25 在基于句子的 QA 数据集上进行系统评估，结果表明，虽然存在覆盖所有领域的通用模型，但通常通过对特定领域训练来获得最佳性能。

    May, 2020

  • ReviewQA：一个基于关系和方面的意见阅读数据集

    本文介绍了一种基于酒店评论的问题回答数据集 ReviewQA，旨在评估模型的关联理解和能力，并提供了几种基线模型的实现。

    Oct, 2018

  • 基于 SQuAD 的神经问答模型比较分析

    本文通过定量和定性分析现有端到端神经模型在斯坦福问答数据集上的结果，旨在理解和比较其特性，以迈向实现在多个领域中的泛化能力。研究发现，预测错误反映了某些模型特定偏差，本文对此进行了进一步讨论。

    Jun, 2018

  • RankQA：具有答案重新排序的神经问答模型

    RankQA 是一种新的神经问答模型，利用三阶段过程（检索、理解和重新排序）来自动回答问题，为后续基于内容的问答研究提供了有力的基线模型。

    Jun, 2019

  • 一个基于问题蕴涵的问答方法

    本文提出了一种新的基于问题蕴含识别（Recognizing Question Entailment）的问答（Question Answering）方法，基于机器学习和深度学习算法，结合信息检索模型，在医疗领域实现了显著的问答准确率提升。

    Jan, 2019

  • 从信息检索和深度神经网络角度的基于文本的问答：一项综述

    本文综述了传统信息检索方法和深度神经网络方法在文本问答任务中的应用，介绍了相关模型以及可供比较的数据集和文献结果。

    Feb, 2020

  • RepLiQA：用于评估 LLMs 在未见参考内容上的问答数据集

    通过介绍一个名为 RepLiQA 的新测试数据集，本研究试图解决使用互联网数据进行大型语言模型评估时可能出现的问题，并通过对各种型号和规模的模型进行基准测试，揭示它们在不同情境条件下的性能差异。

    Jun, 2024

  • QUADRo: 问题 - 答案数据库检索的数据集和模型

    本文提出了一种基于神经信息检索和重新排名的自动问答系统，利用包含 6.3M 问题和回答对的数据库，实现了开放域问答并超越了传统的非结构化文本或图形搜索方法，并证明了基于 Transformer 模型的 (q,a) 对比仅考虑问题表示更优，该方法具有和在 BING 搜索引擎上构建的 QA 系统竞争的优点。

    Mar, 2023

  • 多语言池中的语言无关答案检索

    介绍了 LAReQA - 一项新的挑战性基准测试，可从多语言候选池中进行语言无关的答案检索。在基于多语言 BERT 的基础上，研究了实现强交叉语言对齐的不同策略，发现通过机器翻译增加训练数据是有效的，同时，该基线在 LAReQA 上表现最好，但在仅瞄准 “弱” 对齐的任务中却不及竞争基线，这突显了语言无关检索是一种实质性新型跨语言评估。

    Apr, 2020

  • RoMQA: 鲁棒性、多证据、多答案问答基准

    RoMQA 是第一个鲁棒、多证据、多答案问答基准测试，它基于 Wikidata 知识图谱的相关限制生成问题集群，并通过测量每个问题集群中的最坏性能来评估 QA 模型对各种限制的鲁棒性。与先前的 QA 数据集相比，RoMQA 具有更多需要对更多证据文本进行推理的人类编写问题，并且平均有更多正确答案。此外，人类注释员评价 RoMQA 问题更自然或更有可能被人们问到。

    Oct, 2022