EMNLPMay, 2022

使用句子级目标预训练 Transformer 模型进行答句选择

PDF
TL;DR本文提出了三种新的句子级别的 transformer 预训练目标，以提高 transformer 模型在答案句子选择和文档检索任务中的表现，并减轻对大量标记数据的需求。实验证明，我们的预训练 transformer 模型在三个公共 AS2 数据集和一个工业 AS2 数据集上的表现优越，胜过 RoBERTa 和 ELECTRA 等基线模型。
发现论文，激发创造
  • 上下文感知 Transformer 预训练与答案句子选择

    该研究提出了三个预训练目标，旨在模拟上下文 Answer Sentence Selection 的下游微调任务，并应用于 RoBERTa 和 ELECTRA 等模型，达到一定的准确率提升。

    May, 2023

  • 基于段落的 Transformer 预训练模型用于多句推理

    本文介绍了一种新的预训练目标，用于在多个输入句子之间建模段落级别的语义，并证明了该预训练技术在多候选推理任务的联合建模和交叉编码器场景下优于传统技术。

    May, 2022

  • 基于检索式问答系统的答案生成

    本文通过提出一种基于序列到序列变换器模型的答案生成方法，从 AS2 候选中生成答案，并在三个英文 AS2 数据集上进行测试，结果显示本方法的准确率在现有技术水平上提高了 32 个绝对值的水平。

    Jun, 2021

  • 在延迟预算中建模答案句子选择系统中的语境

    本文介绍了一种在 AS2 模型中有效地结合上下文信息的方法，通过使用无监督相似性技术从源文档中提取相关句子，然后将其馈送到经过微调的高效 transformer 架构中，我们的最佳方法使用多路注意力框架来有效地编码上下文，改进了 AS2 的非上下文状态最佳结果的 6％至 11％，并对系统延迟影响不大。

    Jan, 2021

  • 用于有效答案句子选择的问题 - 上下文对齐和答案 - 上下文依赖

    该论文通过显式地合并问题上下文和答案上下文，利用最优传输和图卷积网络来改进候选句的评分，进而在 WikiQA 和 WDRASS 等流行的 AS2 基准测试上取得了最新的最佳效果。

    Jun, 2023

  • 问答系统中的答案验证联合模型

    本文研究了答案句子选择（AS2）模块中选择正确答案句子的联合模型，构建了一个三路多分类器，以支持、反驳或与其他答案中性的方式决定一个答案。通过将最新的 AS2 模型与多分类器和联合层相结合，实现了效果显著的答案集的开发，并在 WikiQA、TREC-QA 和实际数据集上进行了测试，结果表明它具有新的 AS2 技术水平。

    Jul, 2021

  • 多语种答案句子选择数据集

    通过使用大型语言模型，本研究提出了新的高质量数据集，用于五种欧洲语言的答案句子选择（AS2）任务，并通过多个实验证明这些数据集对于生成强大且跨语言的 AS2 模型至关重要，显著缩小了英语和其他语言之间的性能差距。

    Jun, 2024

  • 从答案排序到答案生成的知识转移

    本文提出一种通过从 AS2 模型中传递知识来训练 GenQA 模型的方法，该模型将候选答案进行排序，使用排名最高的答案作为生成目标，并使用前 k 个排名最高的答案作为上下文进行训练。模型还利用 AS2 模型的预测得分进行损失权重和条件输入 / 输出塑形，以协助知识传递，并在三个公共数据集和一个大型工业数据集上的评估中证明了该方法优于 AS2 基线和使用监督数据训练的 GenQA。

    Oct, 2022

  • 基于问答句子图的答案选择联合建模

    该研究研究了基于图的方法，用于回答句子选择 (AS2)，这是构建基于检索的问答系统的重要组成部分。我们的模型创建一个相关训练图，以执行更准确的 AS2。实验表明，我们的方法一致优于最先进的模型。

    Feb, 2022

  • Web 尺度下的原地答句选择

    该研究提出了用于 Web 规模下的当前答案句子选择（AS2）的 Passage-based Extracting Answer Sentence In-place (PEASI)，通过 Transformer-based 框架，它既重新排列检索到的问题的文本段，并在处理每个句子之前识别可能的答案，在多任务学习中对 PEASI 进行训练以获得最佳性能。实验表明，PEASI 比当前排名独立句子的点模型的表现高出 6.51％。同时，PEASI 在计算答案句子方面非常高效，仅需要～20％ 的推理。

    Jan, 2022