COLINGSep, 2022

利用文本结构知识增强预训练模型用于问句生成

PDF
TL;DR研究表明，采用预训练模型生成问题 (QG) 任务可以显著优于传统的序列对序列方法，但是这些模型对于输入的文章缺乏文本结构的认识。为了克服这个问题，我们将文本结构模拟为回答位置和句法依赖性，提出回答局部性建模和句法遮盖自注意力机制。实验表明，这两个模块可以改进预训练模型 ProphetNet 的性能，并将它们结合在一起可以达到现有最先进预训练模型的竞争性结果。
发现论文，激发创造
  • 采用句子级语义匹配和答案位置推断来改善问题生成

    本文提出了一个能够改进问题生成中的关键词生成和全局问题语义缺失问题的神经问题生成模型，并且利用了句子级别的语义匹配和答案位置推断功能，并运用了基于答案感知的门控融合机制来增强解码器的初始状态，结果表明我们的模型在 SQuAD 和 MARCO 数据集上领先于现有的最先进模型，同时还对现有模型进行了显著改进。

    Dec, 2019

  • 语法增强的预训练模型

    文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

    Dec, 2020

  • 基于注意力引导的生成模型用于抽取式问答

    本文提出了一种新的方法，利用 Transformer 模型进行抽取式问答。该方法利用预训练的生成式模型，并结合内部 cross-attention 机制实现了良好的表现，同时使用较少的参数，使模型能够进行幻觉式推断，并提高模型重排相关段落的能力。

    Oct, 2021

  • 通过图引导的表示学习利用结构化文本知识

    本研究探讨使用知识图谱为预训练语言模型提供结构化知识的方法，提出并实现了两种利用知识图谱进行自监督训练的任务，并通过掩盖文本中的实体并利用实体关系知识进行训练，通过实验验证了该方法的有效性。

    Apr, 2020

  • 基于统一查询的生成模型，用于问题生成和问题回答

    我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务， 在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

    Sep, 2017

  • 利用语法感知的局部注意力提升 BERT 性能

    本文提出一种基于句法结构的局部语义注意力机制，将其与 BERT 等预训练语言模型相结合，提高对句子中句法相关词的关注度，在单句分类和序列标注等任务中实现了一致性增益。

    Dec, 2020

  • ANNA: 增强语言表达能力用于问答

    本文中，我们展示了数据处理、预训练任务、神经网络建模或微调的方法如何单独影响性能，以及当这些方法共同考虑预训练模型时，语言模型在特定的问答任务上表现出最佳结果；具体地，我们提出了一种扩展的预训练任务和一种新的邻居感知机制，能更多地关注邻近的标记，从而捕捉预训练语言建模的上下文丰富性。我们的最佳模型在 SQuAD 1.1 上实现了 95.7％的 F1 和 90.6％的 EM，也在 SQuAD 2.0 基准上超过了现有的预训练语言模型，如 RoBERTa，ALBERT，ELECTRA 和 XLNet。

    Mar, 2022

  • 关注实体以获得更好的文本理解

    在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

    Nov, 2019

  • 基于语义结构的知识图谱问答查询图预测

    本研究主要关注于如何从自然语言问题中构建查询图谱，提出了一种基于语义结构的 BERT 模型进行分析和预测，通过过滤噪声查询图，提高了问题解答的准确性。实验结果表明该方法比现有技术有更好的效果。

    Apr, 2022

  • 问答和问题生成的联合模型

    本文提出一种生成式机器理解模型，用于同时学习根据文档提问和回答问题，采用序列到序列框架编码文档并生成问题，模型在 SQuAD 语料库上获得显著性能提升，实验证明，模型在同时学习两个任务方面受益。我们认为这种联合模型的新颖性提供了一个超越架构工程的机器理解视角，是实现自主信息寻找的第一步。

    Jun, 2017