Jun, 2017

神经网络自然语言理解系统中背景知识的动态整合

PDF
TL;DR本文提出了一种动态集成显式背景知识的 NLU 模型，使用通用阅读模块来读取背景知识，并经过实验验证其在文档问答和文本蕴涵等任务上取得了显著的效果。
neural natural language understandingbackground knowledgenlu modelsgeneral-purpose reading modulequestion answering
发现论文，激发创造
  • 利用文本百科知识的上下文表示

    提出了一种使用从多个文档中动态检索的文本百科知识使输入文本脱离上下文进行表征的方法，并将该方法应用于阅读理解任务，其过程中将与实体相关的背景句子编码为问题和段落，并表明将文本中的背景知识进行集成对实现基于事实推理的任务是有效的，而且可以通过基于自监督遮蔽模型目标的适当预训练来进一步提高知识集成能力，在 TriviaQA 上，该方法相对于不动态整合背景知识的 RoBERTa 模型取得了 1.6 到 3.1 F1 的性能提升，在一组多样化的 QA 数据集上，如 BioASQ、TextbookQA 和 DuoRC，该方法在任务内有相当的提升，而在任务外的性能提升显著。

    Apr, 2020

  • 英文文本的知识驱动自然语言理解及其应用

    该论文提出了一种基于知识驱动的语义表示方法，它使用 VerbNet 词典将文本的语法树映射到它的常识意义，这个通用知识可用于构建基于推理的 NLU 系统，且能提供解释。作者将此方法应用于构建了 SQuARE 和 StaCACK 两个 NLU 应用程序，并展示了这两个系统的高准确性与能力。

    Jan, 2021

  • 知识对通用自然语言理解有帮助吗？一项实证研究

    通过测量语言模型的端到端性能，我们实证研究了各种知识集成方法对外部知识的贡献，发现知识的引入可以显著提高某些任务的结果，同时对其他任务没有不良影响，使用互信息来反映知识带来的差异，通过神经解释模型揭示语言模型如何利用外部知识。

    Sep, 2021

  • 灵活结构化的知识驱动问答

    本文提出了一种使用语言模型结合知识进行基于知识的问答的方法，其中包括知识构建方法和深度融合机制，可以优雅地提取结构数据和提高模型性能。

    Sep, 2022

  • 通过查询生成实现信息对话生成中的动态知识检索

    为了实现对话系统的智能回答，文中设计了 DRKQG，该系统能够根据上下文信息，在没有提前准备知识库的情况下通过搜索引擎检索相关知识，并利用生成模块同时考虑上下文信息和检索知识生成回答，实验结果表明，该模块在自动评估和人工评估两方面取得了优异的成绩。

    Jul, 2022

  • 利用潜在知识和对话上下文实现真实世界会话问答

    该论文提出了一种基于神经检索 - 阅读 (Retrieval-Reading) 系统和基于 TFIDF 的文本摘要技术来利用先前的谈话历史中的潜在知识的方法，以便更好地回答问题，并且实验证明该系统显著提高了回答质量。

    Dec, 2022

  • 常识和命名实体感知的知识驱动对话生成

    本文提出了一种通过利用大规模常识和基于命名实体的知识实现的新型开放域对话生成模型，该模型还利用了与每个话语相关的非结构化主题特定知识，并通过使用共指提高了常识知识。提出的模型利用多跳注意力层保留对话历史和相关知识的最准确和最关键的组成部分，还用到 Commonsense and Named Entity Enhanced Attention Module。实验结果表明我们的模型在两个基准数据集上均显著优于最先进的方法。

    May, 2022

  • 知识为师：基于知识引导的结构化注意力网络

    本文介绍了一种知识引导的结构注意力网络 (K-SAN) 模型，其是循环神经网络 (RNN) 的推广，此模型可以自动识别关键的子结构并加以利用，以提高对于自然语言理解的性能，表现优于基于神经网络的现有框架。

    Sep, 2016

  • 如何通过额外知识来提升自然语言常识问答能力？

    本文提出了将外部常识知识与语言模型相结合的方法，以提高多选题目中常识知识的应用。研究人员采用三种不同的知识插入策略和四种不同的问题 - 回答模型，分析预测结果并探索进一步改进的范围。

    Sep, 2019

  • 利用背景知识构建对话系统

    为了训练自然对话模型，作者创建了一个新的包含电影聊天信息和相关背景知识的数据集，并使用三种不同的模型对这个数据集进行了基准测试。

    Sep, 2018