AAAIAug, 2019

SG-Net：基于句法引导的机器阅读理解

PDF
TL;DR本文提出使用句法来指导文本建模，通过将显式的句法约束融入到注意机制中，设计出了一种句法导向的自注意力网络 (SG-Net)，并将其应用于预训练语言模型 BERT 中，实验结果表明，SG-Net 设计相对于强基线模型在 SQuAD 2.0 和 RACE 基准测试中都有显著的性能提升。
machine reading comprehensionattention mechanismsyntactic dependencyself-attention networktransformer encoder
发现论文，激发创造
  • SG-Net：语法引导变形金刚模型用于语言表示学习

    本研究提出了一种基于句法导向机制的注意力机制，设计了一个语法指导的 self-attention 网络，用于自然语言处理等任务中，取得了较好的性能。

    Dec, 2020

  • 利用 BERT 和图注意力实现机器翻译的句法知识

    通过图注意力模型与 BERT 共同表示源语言的句法依赖特征，以丰富源语言的表示并指导目标语言生成，提出了用 SGB 在机器翻译中获取句法知识。这个模型的实验显示，在不损失 BLEU 得分的情况下，可以提高翻译质量，同时探索了句子长度对此的影响以及 GAT 识别的依赖关系。

    May, 2023

  • 知识为师：基于知识引导的结构化注意力网络

    本文介绍了一种知识引导的结构注意力网络 (K-SAN) 模型，其是循环神经网络 (RNN) 的推广，此模型可以自动识别关键的子结构并加以利用，以提高对于自然语言理解的性能，表现优于基于神经网络的现有框架。

    Sep, 2016

  • 神经文本生成的显式句法指导

    我们提出了一种基于句法树的语法引导生成模式，通过解码过程的两个部分:（1）对给定源句子中词汇化的句法上下文中的每个成分预测填充文本；（2）映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本，并在重述生成和机器翻译上进行了实验。与自回归基线相比，该方法在有效性和可解释性方面更加出色。

    Jun, 2023

  • 具有语法感知的复数神经机器翻译

    本研究提出了一种将语法信息与复数编码器 - 解码器结构相结合的方法，通过注意力机制从源端到目标端联合学习单词级和语法级注意力分数，可以直接集成到任何现有的序列到序列框架中，并在两组数据集上表现出很大的 BLEU 分数提高，特别是在具有显著语法差异的语言对的翻译任务中表现出更大的改进。

    Jul, 2023

  • 混合自注意力网络用于机器翻译

    本研究中，我们提出了一种名为 HySAN 的新型自注意力机制，它可以通过针对不同类型的自注意力网络设计特定的掩码来提取各种语义，并引入挤压门来融合不同类型的自注意力网络，在三个机器翻译任务上实现了优于 Transform 的显著基线，并实现了超越最先进的 NMT 系统的卓越结果。

    Nov, 2018

  • 用于句法感知神经机器翻译的图卷积编码器

    这篇研究论文介绍了一种简单有效的方法来将句法结构融入到神经注意力编码解码模型中，以实现机器翻译。文中使用了预测的源句子句法依赖树，用于生成敏感于句法周边的单词表示，以达到最佳效果。研究的实验结果表明，在英德翻译和英捷翻译方面的所有设置中，与其不考虑语法结构的版本相比，该方法均有显著的改善。

    Apr, 2017

  • 带有动态图卷积解码器的神经机器翻译

    本文提出了一种从结构输入到结构输出的端到端翻译架构，其中联合建模和生成目标翻译及其相应的句法图。我们设计了一个自适应动态时空图卷积解码器（Dyn-STGCD），它可以消费源功能表示及其句法图，并同时自回归生成目标句法图和令牌。我们在五个广泛认可的翻译基准测试中进行了大量实验，验证了我们的提议相对于基线和其他语法感知变体的一致改进。

    May, 2023

  • 句法距离引导的局部自注意力机制

    本文提出了一种语法指导的本地化自注意力 Transformer，该方法允许直接从外部成分句法分析器中加入语法结构，禁止注意机制通过加权距离较远但语法正确的令牌而不是接近的令牌。实验结果显示，我们的模型可以在从小到大不同规模的机器翻译数据集上持续地提高翻译性能。

    Oct, 2022

  • 基于语法指导的神经模组蒸馏探测句子嵌入的组合性

    通过构建基于语法解析的神经模块网络，研究表明语法是句子嵌入模型合成能力中的强因果模型，同时发现句子嵌入模型的可深化性与性能相关，而非线性的语法引导合成只在处理非组成性短语时起作用。

    Jan, 2023