EMNLPOct, 2020

基于阅读理解的问答中 BERT 的解释研究

PDF
TL;DR该论文使用 Integrated Gradients 解释 BERT 在阅读理解中的层次化功能，发现早期层次着重于查询 - 段落交互，而后期层次集中在上下文理解和应答预测，特别适用于量词问题，即使是在存在混淆的情况下，BERT 仍然能够正确预测答案。
发现论文，激发创造
  • BERT 是如何回答问题的：对 Transformer 表示进行逐层分析

    我们对 BERT 的隐藏状态进行逐层分析，揭示了这些状态所包含的有价值的信息，包括 QA 任务 fine-tuned 的模型如何转换令牌向量以找到正确的答案。通过应用一组用于揭示每个表示层中存储信息的一般和 QA 特定探测任务，我们的分析显示 BERT 的转换经历了与传统 pipeline 任务相关的阶段，且细微调整对模型的语意能力影响不大，即使在早期层也可以识别出预测错误。

    Sep, 2019

  • RoBERTa、BERT 和 DistilBERT 中的组合和词汇语义：CoQA 案例研究

    本文探讨了使用多任务学习的方式通过增加语言知识提高 RoBERTa、BERT、DistilBERT 等模型在问答任务上的表现，并发现这些模型在表示组合与词汇语义方面存在差异。

    Sep, 2020

  • BERT 的通用文本表示：一项实证研究

    该论文系统地研究了面向通用文本表示的分层 BERT 激活，以了解其捕获的语言信息以及它们在不同任务之间的可转移性。在下游和探测任务中，句子级别的嵌入与两个最先进的模型进行了比较，而段落级别的嵌入则在四个问答（QA）数据集上进行了学习排名问题设置的评估。结果表明，将预训练的 BERT 模型微调于自然语言推断数据上可以显著提高嵌入的质量。

    Oct, 2019

  • MultiQA：阅读理解中泛化和迁移的实证研究

    本文研究阅读理解（RC）数据集之间的通用性和现有数据集对提高新数据集表现的贡献，使用 Bert 等上下文表示方法，证明在一个或多个数据集上训练，并在目标数据集上进行转移学习可以显著提高 RC 表现，同时发现在多个来源 RC 数据集上训练可以降低新 RC 数据集的示例收集成本，并提出了基于 MultiQA 的模型，取得了五个 RC 数据集的最先进的表现。

    May, 2019

  • BERT 重新探索经典的自然语言处理流程

    本研究主要针对 BERT 模型进行分析，发现模型能够直观地表现出自然语言处理的步骤，并且通过语义角色的方式捕获文本中的语言信息。

    May, 2019

  • 使用 ColBERT 进行开放式问题回答的相关性引导监督

    利用 ColBERT 模型定义了 ColBERT-QA，采用细粒度相互作用和弱监督策略来提升开放域问答的效果，实验结果表明在三个数据集上均取得了最先进的提取式开放域问答性能。

    Jul, 2020

  • NarrativeQA 阅读理解挑战赛

    通过全书阅读来测试阅读理解能力的数据集。

    Dec, 2017

  • 一种灵活框架的零样本文档级问答检测、检索和理解

    本文提出了一种三阶段文件 QA 方法，包括从 PDF 中提取文本，从提取的文本中检索证据以形成良好的上下文，以及从上下文中提取 3 种类型的知识（抽取式、生成式或布尔式）。通过对 QASPER 的评估，DRC 系统在交付更优的上下文选择的同时，Answer-F1 达到了 +7.19 的提高。结果表明，DRC 在科学文献 QA 中有很大的亮点。

    Oct, 2022

  • DC-BERT: 为高效上下文编码分离问题与文档

    本文提出一种名为 DC-BERT 的上下文解码框架，实现了问题回答过程中高效的文档检索，并在 SQuAD Open 和 Natural Questions Open 数据集上取得了比现有技术方法更快和准确度稍低（QA 表现保持 98%）的结果。

    Feb, 2020

  • 利用 BERT 进行信息检索：调查、应用、资源和挑战

    近年来，深度学习在解决各种自然语言处理问题上得到了大量应用。本文回顾了以 BERT 为代表的预训练模型在信息检索领域的方法，涵盖了长文档处理、语义信息整合、平衡效果与效率、术语权重预测、查询扩展和文档扩展等六个高级类别，并与基于解码器的生成式大型语言模型进行了比较，结果表明在特定任务上，经过调优的 BERT 编码器仍然具有更好的性能和更低的部署成本。最后，总结了调查的全面结果，并提出了未来研究的方向。

    Feb, 2024