ACLMay, 2020

概率假设很重要：改进远程监督的文档级问答模型

PDF
TL;DR本文介绍了一种使用 document-level distant super-vision 解决抽取式问答问题的方法，该方法通过将问题及相关文档与答案字符串配对来实现。作者比较了概率空间和远程 supervisions assumptions 的区别，并证明了不同配置提供互补的益处。他们展示了一种多目标模型，可以高效地结合多个假设的优点并表现出更好的性能，超过了此前在 TriviaQA-Wiki 中各方面表现最好的模型 4.3 个 F1 点和 NarrativeQA 摘要中的 1.7 个 Rouge-L 点。
发现论文，激发创造
  • 使用远程监督的证据检索，无需证据标记即可实现问答

    本研究探讨使用仅通过回答标签的远程监督来训练模型，从大规模语料库中学习寻找证据的能力，提出了一种新的方法（DistDR），该方法在多跳和单跳问答基准测试中与全监督的最先进方法不相上下。

    Oct, 2021

  • 简单有效的半监督问答

    本研究提出一种利用基础文档和少量标注数据进行深度学习提取式问答的方法，并通过对三个不同领域数据集的实验验证了其有效性。

    Apr, 2018

  • 基于查询聚焦的多文档概括及远程监督

    本研究提出了一种基于问题回答的粗糙到精细的建模框架，用于解决过去在建立查询与文本段之间关联性上面的问题，并在标准 QFS 基准测试中表现优异。

    Apr, 2020

  • 增强文档级关系抽取的高效多重监督

    提出了高效的多监督关系抽取方法，通过融合远程监督和专家监督选择信息丰富的文档子集，并利用多方监督排名损失训练模型，以提高模型性能并具有较高的时间效率。

    Jul, 2024

  • AugTriever：可扩展的数据增强无监督密集检索

    本文提出了无需注释的可扩展伪查询文档对训练方法，包括查询提取和转化查询生成两种。通过使用这些方法，研究展示出比其他方法更好的检索表现。

    Dec, 2022

  • 弱监督开放域问答的潜在检索

    本文提出了一种新的 open domain question answering 方法，利用问题 - 回答对来同时学习 retriever 和 reader，将 Wikipedia 中的证据检索视为潜在变量，并通过 Inverse Cloze Task 进行预训练。我们的方法在五个 QA 数据集上进行测试，表明在用户真正寻求答案的数据集上，学习检索至关重要，完全匹配方面的得分比传统的 IR 系统（如 BM25）高达 19 个点。

    Jun, 2019

  • 高效鲁棒的基于极小上下文的文档问答

    该研究探讨了答题所需的最小上下文，并提出了一种简单的句子选择器用于选择最小的句子来喂养问答模型，以实现训练和推理时间的显著减少并提高精度，并且更加鲁棒。

    May, 2018

  • 基于监督对比学习的长文本问答

    本文提出一种新的方法，通过在 fine-tuning 过程中为模型提供对比监督信号，通过最大化问题 - 证据的相似性，明确区分支持证据句子和负面证据句子，从而为长上下文问答模型提供更好的支持证据识别，取得了一致的性能提升。

    Dec, 2021

  • 通过神经期望最大化框架揭示远程监督中的基本关系

    本文介绍了一种使用神经网络和概率建模的新型标签去噪框架，以解决远程监督关系提取中标签嘈杂的问题，并在实践中证明了该方法的有效性。

    Sep, 2019

  • 向右看：减轻答疑中的相对位置偏差

    研究发现，抽取式问答模型可能会利用表面提示预测答案，而不是真正理解问题。相对位置也可能被利用作为这种表面提示的一种方式。为了构建一个具有普适性的抽取式问答模型，有必要找出那些有可能被利用的表面提示，并采取一些方法去防止模型利用表面提示。作者提出了一种基于集成的去除偏见的方法，无需事先了解相对位置的分布。 实验证明，该方法可以缓解模型对相对位置的依赖关系，从而提高其在实际应用中的泛化能力。

    Oct, 2022