ACLJun, 2019

基于填空翻译的无监督问答

PDF
TL;DR本文探讨了利用无监督方法合成训练集数据以及不匹配的语料库训练 NMT 模型作为 cloze-to-natural question translator 来更有效地训练 QA 模型，这种方法已经在 SQuAD v1 数据集上验证，并且相较于过去的监督学习方法取得更好的表现。
question answeringextractive qaunsupervised learningtraining datanlp
发现论文，激发创造
  • 简单有效的半监督问答

    本研究提出一种利用基础文档和少量标注数据进行深度学习提取式问答的方法，并通过对三个不同领域数据集的实验验证了其有效性。

    Apr, 2018

  • 利用检索句子生成模板的方式提高无监督问答

    我们提出了一种无监督训练 QA 模型的方法，该方法使用生成的伪数据训练，为 QA 训练生成问题，通过对相关检索到的句子应用简单模板，而非原始上下文句子来实现，从而使模型能够学习更复杂的上下文问题关系。 使用这些数据训练 QA 模型可在 SQuAD 数据集上获得 14％的 F1 分数相对提高，并且在答案为命名实体时提高 20％，从而实现无监督 QA 的最新性能。

    Apr, 2020

  • 用填空翻译和一致性优化实现零样本通识常识问答

    本研究针对常识问题回答（Commonsense question answering）的挑战，提出了利用预训练语言模型中的 “隐含知识”，通过四种翻译方法，探索如何更好地调动语言模型中的常识知识。研究通过在零样本情况下对三个 CQA 数据集进行实验，证明了该方法对增强模型的性能十分有效，并且结合外部知识库进一步提高了模型性能。同时，文章还分析了各种填空翻译方法的不同特点和优缺点。

    Jan, 2022

  • 无监督多项选择问题回答

    无监督问答，多选题问答，合成数据生成，命名实体，知识图谱。

    Feb, 2024

  • 大规模综合监督的跨语言开放领域问答预训练

    基于自我监督方法的编码器 - 解码器模型在跨语言问答中表现出色，利用维基百科的跨语言链接结构，综合生成监督信号，提高了检索和回答生成的性能，相比于其他方法，包括机器翻译，CLASS 方法在监督和零资源语言适配等方面均取得更好的效果。

    Feb, 2024

  • 自问自答：无监督知识引导的语言模型对齐

    本文介绍了一种称为 Self-QA 的创新框架，利用大量无监督知识代替传统的人工撰写指导文件种子，从而生成更多正确和特定于领域的指导数据，以克服创建用于指导调整的监督配对问答数据所面临的挑战。

    May, 2023

  • 端到端的神经检索器训练，用于开放领域的问答

    本篇论文通过系统地研究检索器的预训练，提出了一种利用反向填空任务和掩盖显著跨度的无监督预训练方法，并在问题 - 上下文对上进行有监督微调的方法。此外还探讨了两种 OpenQA 模型的端对端有监督培训方法，并展示了这些方法在性能方面相对于较小模型的一致性提升。实验结果表明这些方法效果显著优于现有的一些模型。

    Jan, 2021

  • 问答领域的有监督和无监督迁移学习

    本文探究了迁移学习在问题回答方面的应用，使用两种问题回答模型，在 TOEFL 和 MCTest 数据集上通过简单的迁移学习技术从 MovieQA 数据集中学到的知识显著提高了性能，尤其是其中一种模型在所有目标数据集上取得了最佳效果，对于 TOEFL 听力理解测试，它的性能比以前的最佳模型提高了 7%。最后，我们证明了即使在目标 QA 数据集示例的正确答案不可用的无监督情况下，迁移学习也是有帮助的。

    Nov, 2017

  • XAIQA：用于提取式问答的基于解释器的数据增强

    使用医疗记录自然可用的数据，XAIQA 通过分类模型解释器生成大规模的合成问答对，提升了 GPT-4 作为抽取式问答模型的性能。

    Dec, 2023

  • 无监督问答系统的问题 - 答案提取和精炼

    本研究提出了两种方法以改善无监督问答：从维基百科中收集问题 - 答案对以自动构建语料库，利用 QA 模型提取更合适的答案迭代地优化 RefQA 数据。经过对 SQuAD 1.1 和 NewsQA 进行的实验证明我们的方法在无监督情况下优于之前的方法，并与早期的监督模型具有竞争力。我们还在少样本学习方面证明了我们方法的有效性。

    May, 2020