在问答系统中使用弱监督和数据增强

Sep, 2023

在问答系统中使用弱监督和数据增强

Using Weak Supervision and Data Augmentation in Question Answering

Chumki Basu, Himanshu Garg, Allen McIntosh, Sezai Sablak, John R. Wullert II

TL;DR研究探讨了弱监督和数据增强在训练深度神经网络问答模型中的作用，利用结构化文摘和信息检索算法 BM25 生成标签，通过信息检索技术和词汇数据库增强训练数据，应用课程学习进行领域自适应和逐步微调问答模型来回答关于 COVID-19 的问题。

Abstract

The onset of the covid-19 pandemic accentuated the need for access to biomedical literature to answer timely and disease-specific questions. During the early days of the pandemic, one of the biggest challenges we

covid-19 biomedical literature machine learning models weak supervision data augmentation

发现论文，激发创造

XAIQA：用于提取式问答的基于解释器的数据增强

使用医疗记录自然可用的数据，XAIQA 通过分类模型解释器生成大规模的合成问答对，提升了 GPT-4 作为抽取式问答模型的性能。

Dec, 2023

COVID-19 端到端问答：通过合成训练实现领域自适应

本文探讨了如何通过合成的问答数据来提高封闭领域检索和机器阅读理解的性能，实验结果表明将神经信息检索系统和机器阅读理解系统组合后，在 CORD-19 数据集上相比于基准开放领域问答系统，有显著的改进。

Dec, 2020

WeaQA: 通过标题的弱监督使视觉问答更准确

研究如何使用图像和相关描述文本生成合成的 Q-A 对集合，而无需人工标注，同时利用空间金字塔图像块作为一种简单而有效的 VQA 模型替代方案。

Dec, 2020

利用实体感知屏蔽策略提高低资源生物医学问答性能

本文提出了一种称为生物医学实体感知蒙版 (BEM) 的简单方法，以帮助受限于特定领域及其 COVID-19 文献的预训练语言模型进行微调，从而提升其生物医学问答数据集的性能。实验证明，该方法与先进模型具有相同的性能。

Feb, 2021

无标签训练数据的神经重复问题检测

本研究提出了两种方法：自动生成重复问题和使用问题标题和正文进行弱监督，研究表明这两种方法可以有效地训练社区问答中的问题检测模型，尤其是可以利用来自 cQA 论坛的大量未标记数据。同时，我们还发现使用标题和正文信息进行弱监督的方法是训练 cQA 答案选择模型的有效方法。

Nov, 2019

简单有效的半监督问答

本研究提出一种利用基础文档和少量标注数据进行深度学习提取式问答的方法，并通过对三个不同领域数据集的实验验证了其有效性。

Apr, 2018

通过提示进行弱监督的对话理解数据增强

本论文探讨了在缺少数据资源的情况下，利用预先训练好的语言模型进行对话理解中的数据增强的问题，并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明，在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集，可以达到或超过现有的最佳性能。

Oct, 2022

基于填空翻译的无监督问答

本文探讨了利用无监督方法合成训练集数据以及不匹配的语料库训练 NMT 模型作为 cloze-to-natural question translator 来更有效地训练 QA 模型，这种方法已经在 SQuAD v1 数据集上验证，并且相较于过去的监督学习方法取得更好的表现。

Jun, 2019

隐私政策问答的检索增强数据增强技术

本文通过集成检索模型和利用多个预训练语言模型及去噪防护，开发了一种新型数据增强框架，以捕获未标记的策略文件中的相关文本段，并扩展训练集中的正面示例。使用此增强数据，该研究在 PrivacyQA 基准测试中将现有水平提高了 10% F1，实现了 50% 的新水平。（其中，F1 是一种综合度量，用于评估二元分类器的准确性。）

Apr, 2022

生物医学事实型问题回答的数据增强

本文研究七种数据扩增方法在事实型问题回答中的作用，着重于生物医学领域以及数据难以获得的情况。作者从 BioASQ 挑战赛中获取数据，然后通过人工智能技术和其他方法进行扩增。实验证明，即使在使用大型预训练模型时，数据扩增也会带来非常显著的性能提升，其中以基于 word2vec 的词汇替换为最佳方法。作者最终公开了其代码和人工训练数据集。

Apr, 2022