EMNLPOct, 2020

使用 Transformers 的无监督问答评估

PDF
TL;DR本研究探讨了基于 Transformer 的 QA 模型中问题、答案和上下文的隐藏表示，并通过观察回答表示中的一致性模式来自动评估预测出的答案跨度是否正确，其方法不需要任何标记数据且优于强启发式基线，在两个数据集和七个领域上均能够达到较高准确率。
qa modelstransformer-based architecturesanswer correctnesshidden representationslabeled data
发现论文，激发创造
  • 基于远程监督的 Transformer 模型在电商产品问答中的应用

    提出了一种基于 Transformer 模型的实时电子商务产品页面问答系统，在 CQA 对中检索到与用户查询相关的问题答案对，该模型学习统一的句法和语义表示，同时利用 CQA 对进行远程监督，通过在离线和在线实验中的大规模评估，证明了该框架在电子商务 QA 流量方面具有很好的性能。

    Apr, 2021

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 利用检索句子生成模板的方式提高无监督问答

    我们提出了一种无监督训练 QA 模型的方法，该方法使用生成的伪数据训练，为 QA 训练生成问题，通过对相关检索到的句子应用简单模板，而非原始上下文句子来实现，从而使模型能够学习更复杂的上下文问题关系。 使用这些数据训练 QA 模型可在 SQuAD 数据集上获得 14％的 F1 分数相对提高，并且在答案为命名实体时提高 20％，从而实现无监督 QA 的最新性能。

    Apr, 2020

  • 通过子部分对齐实现鲁棒的问答

    提出一种将问题回答建模为一种对齐问题的结构支持向量机方法，通过将问题和上下文分解成基于语义角色的单元，并将问题与上下文的子图进行对齐以找到答案，该模型可用于跨领域问题回答，且通过对齐得分派生出的限制使模型更加鲁棒。

    Apr, 2020

  • 问答领域的有监督和无监督迁移学习

    本文探究了迁移学习在问题回答方面的应用，使用两种问题回答模型，在 TOEFL 和 MCTest 数据集上通过简单的迁移学习技术从 MovieQA 数据集中学到的知识显著提高了性能，尤其是其中一种模型在所有目标数据集上取得了最佳效果，对于 TOEFL 听力理解测试，它的性能比以前的最佳模型提高了 7%。最后，我们证明了即使在目标 QA 数据集示例的正确答案不可用的无监督情况下，迁移学习也是有帮助的。

    Nov, 2017

  • 这个问题会被回答吗？通过答案模型蒸馏进行问题过滤以实现更高效的问答

    本文提出了一种新方法，通过筛选不会被回答的问题来提高问答系统的效率，这基于一个有趣的新发现：基于最先进的问答系统的答案置信度分数可以用仅使用输入问题文本的模型很好地逼近，这使得非答案置信度分数低于系统阈值的问题可以进行预先拦截。

    Sep, 2021

  • 基于检索式问答系统的答案生成

    本文通过提出一种基于序列到序列变换器模型的答案生成方法，从 AS2 候选中生成答案，并在三个英文 AS2 数据集上进行测试，结果显示本方法的准确率在现有技术水平上提高了 32 个绝对值的水平。

    Jun, 2021

  • 基于 Transformer 的多方对话分层上下文学习与跨度问答

    本研究介绍了一种新颖的 transformer 方法，利用三种语言模型任务预训练 Transformer，并应用多任务学习进行精细调整，以实现基于跨度的问答，该方法在挑战性的 FriendsQA 数据集上表现得非常好。

    Apr, 2020

  • 基于填空翻译的无监督问答

    本文探讨了利用无监督方法合成训练集数据以及不匹配的语料库训练 NMT 模型作为 cloze-to-natural question translator 来更有效地训练 QA 模型，这种方法已经在 SQuAD v1 数据集上验证，并且相较于过去的监督学习方法取得更好的表现。

    Jun, 2019

  • 语义答案相似度度量评估

    提出了利用基于 Transformer 模型度量方法对自然语言生成及问答系统进行语义相似度评估的框架，并使用 US-American public figures 的同指名字对数据集进行训练，取得较高的语义相似度度量结果。

    Jun, 2022