Jan, 2019

自然问答任务的 BERT 基线模型

PDF
TL;DR本文描述了一种新的 Natural Questions 基准模型，基于 BERT 架构实现，在长答案和短答案任务上相对于原始数据集论文中的 F1 分数表现，与人类上限之间的差距分别缩小了 30% 和 50%。该基准模型已提交至 ai.google.com/research/NaturalQuestions，代码、预处理数据和预训练模型均可在提供的链接中获取。
natural questionsbertf1 scoreslong answer tasksshort answer tasks
发现论文，激发创造
  • 让人沮丧地简单的自然问答

    文章研究了问题回答领域（Question Answering）中各种算法模型以及增强数据方法，提出了基于 Attention-over-Attention 等方法的组合以及数据增强和集成策略，可在 SQuAD 等基准数据集上取得超人的表现。但在最新的自然问题基准数据集上，相对简单的 BERT 迁移学习方法取得了超过先前表现最优系统 1.9 F1 点的优异表现，并且添加集成策略进一步提高了 2.3 F1 点。

    Sep, 2019

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 利用生成 NQ 类问题来改进问答

    本研究提出一种算法，利用数据集转换技术从长的 Trivia 问题转化为类似于日常人类交流的较短问题的方式，自动生成自然问题（NQ）数据集中的问题，同时使用神经分类器检测并去除不合法的问题，从而生成高质量的数据集，提高了 QA 表现，该算法在低资源环境下使用，扩展了 QA 系统的规模，同时保持了训练数据的质量。

    Oct, 2022

  • 自然语言推理在生物医学问答中的可迁移性

    本文提出了一种在生物医学问答任务中应用预训练语言模型和迁移学习的方法，并通过实验证明优化迁移学习任务的顺序可以显著提高其性能。

    Jul, 2020

  • 展示、询问、关注和回答：视觉问答的强大基线

    本文介绍了一种新的视觉问答任务的基线模型，它可以根据图像的内容和自然语言的问题准确地产生答案，并取得了在不平衡和平衡的 VQA 基准测试中的最新成果。

    Apr, 2017

  • SimpleQuestions 近乎已解决：新的上界和基准方法

    本论文研究了 SimpleQuestions 数据集在单关系事实型问题中的性能。通过实验证明，这一基准测试几乎可以被标准方法解决，但存在一定的语义歧义导致较低精度。作者提出了一个新的基准线，并对剩余错误进行了实证分析，认为 SimpleQuestions 数据集已经几乎被解决。

    Apr, 2018

  • NewsQA: 一个机器阅读理解数据集

    为了增加推理能力，我们通过四个阶段的过程收集有超过 10,000 篇 CNN 新闻文章的人类生成的问题 - 答案对的数据集 NewsQA，该数据集超过 100,000 个 QA 对，由众包工人提供，答案包含想对应文章的文本内容片段。人类的表现比现有神经模型的性能更好，这表明未来的研究可以在 NewsQA 上取得显著的进展。

    Nov, 2016

  • 生物医学问答预训练语言模型

    本文研究 BioBERT（一种预训练的生物医学语言模型）在回答生物医学问题方面的性能，结果表明使用适当的前 / 后处理策略可以获得最佳性能。

    Sep, 2019

  • 使用小型模型进行非监督自然问答

    本文描述了一个架构，利用原始外部知识，基于无监督学习的技术，使得更小的模型可以回答与事实有关的问题，其目的在于能够显式地添加知识，而无需进行大量的训练。

    Nov, 2019

  • BERT 用于指代消解的基线和分析

    本文利用 BERT 模型对共指消解问题进行了研究，结果表明利用 BERT 模型在 OntoNotes 和 GAP 基准上取得了显著提升。自行搭建模型的测试结果表明，相比 ELMo 和 BERT-base 模型，BERT-large 模型在区分相关实体上表现更好，但在建模文档上下文、对话以及提取意象的方面，还有进一步提高的空间。

    Aug, 2019