简单有效的半监督问答
本文探讨了利用无监督方法合成训练集数据以及不匹配的语料库训练 NMT 模型作为 cloze-to-natural question translator 来更有效地训练 QA 模型,这种方法已经在 SQuAD v1 数据集上验证,并且相较于过去的监督学习方法取得更好的表现。
Jun, 2019
该研究探讨了答题所需的最小上下文,并提出了一种简单的句子选择器用于选择最小的句子来喂养问答模型,以实现训练和推理时间的显著减少并提高精度,并且更加鲁棒。
May, 2018
基于自我监督方法的编码器 - 解码器模型在跨语言问答中表现出色,利用维基百科的跨语言链接结构,综合生成监督信号,提高了检索和回答生成的性能,相比于其他方法,包括机器翻译,CLASS 方法在监督和零资源语言适配等方面均取得更好的效果。
Feb, 2024
本篇论文通过系统地研究检索器的预训练,提出了一种利用反向填空任务和掩盖显著跨度的无监督预训练方法,并在问题 - 上下文对上进行有监督微调的方法。此外还探讨了两种 OpenQA 模型的端对端有监督培训方法,并展示了这些方法在性能方面相对于较小模型的一致性提升。实验结果表明这些方法效果显著优于现有的一些模型。
Jan, 2021
本研究针对常识问题回答(Commonsense question answering)的挑战,提出了利用预训练语言模型中的 “隐含知识”,通过四种翻译方法,探索如何更好地调动语言模型中的常识知识。研究通过在零样本情况下对三个 CQA 数据集进行实验,证明了该方法对增强模型的性能十分有效,并且结合外部知识库进一步提高了模型性能。同时,文章还分析了各种填空翻译方法的不同特点和优缺点。
Jan, 2022
应用深度学习框架解决非事实类问答任务,在保险领域创建和发布了问答语料库,实验结果表明性能优于基线方法和其他技术,对于这个高度具有挑战性的任务,测试集的最高准确率可达到 65.3%,具有广泛的实用潜力。
Aug, 2015
我们提出了一种无监督训练 QA 模型的方法,该方法使用生成的伪数据训练,为 QA 训练生成问题,通过对相关检索到的句子应用简单模板,而非原始上下文句子来实现,从而使模型能够学习更复杂的上下文问题关系。 使用这些数据训练 QA 模型可在 SQuAD 数据集上获得 14%的 F1 分数相对提高,并且在答案为命名实体时提高 20%,从而实现无监督 QA 的最新性能。
Apr, 2020
本文提出了一种新颖的基于语义的问题回答方法 (SEQA),该方法使用生成模型先产生一组可能的答案,然后基于这些可能的答案和问题在语义上的相似性来选择正确的答案。该方法在无监督的情况下,通过对四个基准数据集的实验验证了其有效性和健壮性,并取得了最佳结果。
May, 2021
该论文提出了一种新模型 Graft-Net,应用于 Open Domain Question Answering 问题,该模型结合了文本和知识库并利用子图表示法以提高效率和准确度
Sep, 2018
本研究提出了一种基于规则的开放域问答系统,可以回答来自相关上下文的任何领域的问题,使用 1000 个问题的 SQuAD 2.0 数据集测试开发的系统表现满意,同时分析了性能。
Mar, 2022