Apr, 2019

开放域问答中 BERT 微调的数据增强

PDF
TL;DR本文介绍一种利用远程监督的数据增强技术来优化基于 passage retrieval 和 BERT 阅读器的问答模型的方法，通过迭代式的参数微调方法在多个数据集上进行实验，并在英文和中文数据集上取得了明显的提升。
question answeringpassage retrievalbert readerdata augmentationfine tuning
发现论文，激发创造
  • 学习增强技术以提高数据缺乏领域的 BERT 知识蒸馏

    该论文提出一种基于交叉领域数据增强的 BERT 知识蒸馏方法，借助资源丰富的源域来自动优化增强策略和提高学生模型性能，实验证明该方法优于现有方法，且在数据稀缺领域中，即使只有少量标记样本，压缩后的学生模型性能也能优于原始的大型教师模型。

    Jan, 2021

  • 领域无关问答数据扩充及采样技术探究

    研究提出了一个不依赖于特定领域的问答模型，并探讨了大型预训练语言模型、各种数据采样策略以及通过背景翻译生成的查询和上下文释义的相对优点。我们发现简单的负采样技术特别有效，即使它通常用于包括无法回答的问题（如 SQuAD 2.0）的数据集。当与域内采样结合应用时，基于 XLNet（Yang 等人，2019）的提交在 MRQA 领袖板竞赛中取得了第二名的准确匹配和 F1 得分。

    Dec, 2019

  • AugTriever：可扩展的数据增强无监督密集检索

    本文提出了无需注释的可扩展伪查询文档对训练方法，包括查询提取和转化查询生成两种。通过使用这些方法，研究展示出比其他方法更好的检索表现。

    Dec, 2022

  • 隐私政策问答的检索增强数据增强技术

    本文通过集成检索模型和利用多个预训练语言模型及去噪防护，开发了一种新型数据增强框架，以捕获未标记的策略文件中的相关文本段，并扩展训练集中的正面示例。使用此增强数据，该研究在 PrivacyQA 基准测试中将现有水平提高了 10% F1，实现了 50% 的新水平。（其中，F1 是一种综合度量，用于评估二元分类器的准确性。）

    Apr, 2022

  • 生物医学事实型问题回答的数据增强

    本文研究七种数据扩增方法在事实型问题回答中的作用，着重于生物医学领域以及数据难以获得的情况。作者从 BioASQ 挑战赛中获取数据，然后通过人工智能技术和其他方法进行扩增。实验证明，即使在使用大型预训练模型时，数据扩增也会带来非常显著的性能提升，其中以基于 word2vec 的词汇替换为最佳方法。作者最终公开了其代码和人工训练数据集。

    Apr, 2022

  • 让人沮丧地简单的自然问答

    文章研究了问题回答领域（Question Answering）中各种算法模型以及增强数据方法，提出了基于 Attention-over-Attention 等方法的组合以及数据增强和集成策略，可在 SQuAD 等基准数据集上取得超人的表现。但在最新的自然问题基准数据集上，相对简单的 BERT 迁移学习方法取得了超过先前表现最优系统 1.9 F1 点的优异表现，并且添加集成策略进一步提高了 2.3 F1 点。

    Sep, 2019

  • 低资源机器阅读的简单有效数据增强方法：物美价廉还是一分价钱一分货？

    这篇研究提出了一种简单有效的数据增强策略，可以帮助低资源情况下的机器阅读理解（MRC）系统更好地预训练答案提取组件。该方法的核心在于，首先采用包含正确答案的近似上下文的数据对 MRC 系统的答案提取部件进行预训练，然后再对确切答案进行训练。实验表明，这种策略可以提高系统的检索和答案提取性能。

    Jun, 2021

  • 将维基百科转化为查询焦点摘要的增强数据

    本研究提出了一种基于维基百科的方法收集一个大规模的问题导向文本摘要数据集 (WIKIREF) 并用于数据增广，同时使用 BERT 算法开发出一个 Q-BERT 模型进行摘要提取，采用细调神经网络方法，将海量参数的大模型适应于小型基准测试，实验证明该方法提升了机器摘要的性能。

    Nov, 2019

  • ZusammenQA：专用模型数据增强的跨语言开放检索问答系统

    该论文提出了一种用于 COQA 多语言问题解答的系统，该系统使用多种模型变体在数据增强、语段检索和答案生成三个主要组件上进行了研究，并结合语言模型预训练和数据增强等方法有效提高了针对低资源语言的表现。

    May, 2022

  • 使用 ColBERT 进行开放式问题回答的相关性引导监督

    利用 ColBERT 模型定义了 ColBERT-QA，采用细粒度相互作用和弱监督策略来提升开放域问答的效果，实验结果表明在三个数据集上均取得了最先进的提取式开放域问答性能。

    Jul, 2020