基于检索式问答系统的答案生成

ACLJun, 2021

Answer Generation for Retrieval-based Question Answering Systems

Chao-Chun Hsu, Eric Lind, Luca Soldaini, Alessandro Moschitti

TL;DR本文通过提出一种基于序列到序列变换器模型的答案生成方法，从 AS2 候选中生成答案，并在三个英文 AS2 数据集上进行测试，结果显示本方法的准确率在现有技术水平上提高了 32 个绝对值的水平。

Abstract

Recent advancements in transformer-based models have greatly improved the ability of Question Answering (QA) systems to provide correct answers; in particular, answer sentence selection (AS2) models, core components of retrieval-based systems, have achieved impressive results. While ge

transformer-based models question answering systems answer sentence selection models sequence to sequence transformer model accuracy

发现论文，激发创造

从答案排序到答案生成的知识转移

本文提出一种通过从 AS2 模型中传递知识来训练 GenQA 模型的方法，该模型将候选答案进行排序，使用排名最高的答案作为生成目标，并使用前 k 个排名最高的答案作为上下文进行训练。模型还利用 AS2 模型的预测得分进行损失权重和条件输入 / 输出塑形，以协助知识传递，并在三个公共数据集和一个大型工业数据集上的评估中证明了该方法优于 AS2 基线和使用监督数据训练的 GenQA。

Oct, 2022

问答系统中的答案验证联合模型

本文研究了答案句子选择（AS2）模块中选择正确答案句子的联合模型，构建了一个三路多分类器，以支持、反驳或与其他答案中性的方式决定一个答案。通过将最新的 AS2 模型与多分类器和联合层相结合，实现了效果显著的答案集的开发，并在 WikiQA、TREC-QA 和实际数据集上进行了测试，结果表明它具有新的 AS2 技术水平。

Jul, 2021

使用句子级目标预训练 Transformer 模型进行答句选择

本文提出了三种新的句子级别的 transformer 预训练目标，以提高 transformer 模型在答案句子选择和文档检索任务中的表现，并减轻对大量标记数据的需求。实验证明，我们的预训练 transformer 模型在三个公共 AS2 数据集和一个工业 AS2 数据集上的表现优越，胜过 RoBERTa 和 ELECTRA 等基线模型。

May, 2022

上下文感知 Transformer 预训练与答案句子选择

该研究提出了三个预训练目标，旨在模拟上下文 Answer Sentence Selection 的下游微调任务，并应用于 RoBERTa 和 ELECTRA 等模型，达到一定的准确率提升。

May, 2023

在延迟预算中建模答案句子选择系统中的语境

本文介绍了一种在 AS2 模型中有效地结合上下文信息的方法，通过使用无监督相似性技术从源文档中提取相关句子，然后将其馈送到经过微调的高效 transformer 架构中，我们的最佳方法使用多路注意力框架来有效地编码上下文，改进了 AS2 的非上下文状态最佳结果的 6％至 11％，并对系统延迟影响不大。

Jan, 2021

用于有效答案句子选择的问题 - 上下文对齐和答案 - 上下文依赖

该论文通过显式地合并问题上下文和答案上下文，利用最优传输和图卷积网络来改进候选句的评分，进而在 WikiQA 和 WDRASS 等流行的 AS2 基准测试上取得了最新的最佳效果。

Jun, 2023

利用自动问答评估器的监督学习答案生成

本研究通过提出一种新的 GenQA 训练范式，利用自动 QA 评估模型（GAVA）中的监督进行知识转移，比以往的基于 AS2 模型的抽取式 QA 方法有更高的准确率，方法包括：用由 GAVA 标记的 GenQA 模型生成的答案增加训练数据，使用 GAVA 分数加权生成器损失以及动态标记生成的答案。

May, 2023

多语种答案句子选择数据集

通过使用大型语言模型，本研究提出了新的高质量数据集，用于五种欧洲语言的答案句子选择（AS2）任务，并通过多个实验证明这些数据集对于生成强大且跨语言的 AS2 模型至关重要，显著缩小了英语和其他语言之间的性能差距。

Jun, 2024

基于问答句子图的答案选择联合建模

该研究研究了基于图的方法，用于回答句子选择 (AS2)，这是构建基于检索的问答系统的重要组成部分。我们的模型创建一个相关训练图，以执行更准确的 AS2。实验表明，我们的方法一致优于最先进的模型。

Feb, 2022

基于 Transformer 的语言模型在抽取式问答中的比较研究

本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

Oct, 2021