Sep, 2016

知识为师：基于知识引导的结构化注意力网络

PDF
TL;DR本文介绍了一种知识引导的结构注意力网络 (K-SAN) 模型，其是循环神经网络 (RNN) 的推广，此模型可以自动识别关键的子结构并加以利用，以提高对于自然语言理解的性能，表现优于基于神经网络的现有框架。
natural language understandingrecurrent neural networksk-sansemantic slotsattention mechanism
发现论文，激发创造
  • DiSAN: 面向无 RNN/CNN 的语言理解的定向自注意力网络

    提出了一种新颖的方向性多维度自注意力机制 DiSAN，用于句子编码，相对于复杂的 RNN 模型，它在预测质量和时间效率方面表现更好，并在多个数据集上得到了最优的测试准确性表现。

    Sep, 2017

  • 深度循环神经网络实现口语语言标注

    本文研究口语理解技术中的语义解释提取问题，提出基于深度 RNN 的新型架构，通过在 ATIS 和 MEDIA 语料库上的实验，取得了较先前研究更优的最新成果。

    Jun, 2017

  • 英文文本的知识驱动自然语言理解及其应用

    该论文提出了一种基于知识驱动的语义表示方法，它使用 VerbNet 词典将文本的语法树映射到它的常识意义，这个通用知识可用于构建基于推理的 NLU 系统，且能提供解释。作者将此方法应用于构建了 SQuARE 和 StaCACK 两个 NLU 应用程序，并展示了这两个系统的高准确性与能力。

    Jan, 2021

  • SG-Net：基于句法引导的机器阅读理解

    本文提出使用句法来指导文本建模，通过将显式的句法约束融入到注意机制中，设计出了一种句法导向的自注意力网络 (SG-Net)，并将其应用于预训练语言模型 BERT 中，实验结果表明，SG-Net 设计相对于强基线模型在 SQuAD 2.0 和 RACE 基准测试中都有显著的性能提升。

    Aug, 2019

  • 非监督对话结构归纳的结构化注意力

    本论文通过在变分循环神经网络模型中引入结构化注意力层，以无监督学习的方式学习对话结构，并对多方对话数据集进行了实验，展示了模型区分发言人或地址、自动脱钩对话的能力。

    Sep, 2020

  • SG-Net：语法引导变形金刚模型用于语言表示学习

    本研究提出了一种基于句法导向机制的注意力机制，设计了一个语法指导的 self-attention 网络，用于自然语言处理等任务中，取得了较好的性能。

    Dec, 2020

  • 基于知识图谱的神经网络在自然语言处理中的应用

    提出了一种增强学习模型的方案，即通过知识图谱的事实三元组来为自然语言处理任务提供上下文知识，并采用基于卷积的模型来减少关注空间，从而大大提高了文本分类和自然语言推理任务的性能。

    Feb, 2018

  • 基于 RNN 的增量在线口语理解

    提出使用循环神经网络 (RNN) 基于增量处理的方式进行口语语言理解 (SLU) 的意图检测，从而实现系统延迟更低的效果，同时不会显著降低 SLU 系统的准确性。

    Oct, 2019

  • 无 ASR 语音语言理解的端到端架构

    这篇论文探讨了针对 Fluent Speech Commands 数据集的一系列递归架构，用于意图分类，通过结合深度递归架构和标准数据增强，不使用 ASR 级目标或预训练的 ASR 模型即可实现最先进的结果，并且探讨了其对新措辞的普适性，结果表明，该模型在训练期间未见过的措辞上也能表现得相当不错。

    Oct, 2019

  • 自注意力：情感分析神经网络分类器的更好构建块

    本文探讨了使用自注意网络 (Self-Attention Networks) 进行情感分析的有效性，发现相较于循环神经网络 (RNNs) 和卷积神经网络 (CNNs)，使用自注意网络在分类准确率、训练速度和内存消耗方面表现优越，并研究了多头注意力和序列位置信息等方面的改进效果。

    Dec, 2018