May, 2023

带有动态图卷积解码器的神经机器翻译

PDF
TL;DR本文提出了一种从结构输入到结构输出的端到端翻译架构，其中联合建模和生成目标翻译及其相应的句法图。我们设计了一个自适应动态时空图卷积解码器（Dyn-STGCD），它可以消费源功能表示及其句法图，并同时自回归生成目标句法图和令牌。我们在五个广泛认可的翻译基准测试中进行了大量实验，验证了我们的提议相对于基线和其他语法感知变体的一致改进。
neural machine translationsyntactic knowledgeend-to-end translation architecturedynamic spatial-temporal graph convolutional decodersyntax-aware variants
发现论文，激发创造
  • 用于句法感知神经机器翻译的图卷积编码器

    这篇研究论文介绍了一种简单有效的方法来将句法结构融入到神经注意力编码解码模型中，以实现机器翻译。文中使用了预测的源句子句法依赖树，用于生成敏感于句法周边的单词表示，以达到最佳效果。研究的实验结果表明，在英德翻译和英捷翻译方面的所有设置中，与其不考虑语法结构的版本相比，该方法均有显著的改善。

    Apr, 2017

  • 基于自顶向下树形解码与句法连接的神经机器翻译与句法分析

    本文提出了一种基于 DRNN 的序列到树的 NMT 模型 (称为 Seq2DRNN)，该模型在树结构解码中结合了序列编码器和句法感知机制，并使用语法结构信息从而能够生成更流畅的翻译结果，同时可以进行成分句法分析。

    Sep, 2018

  • 利用语法感知编码器和解码器实现改进的神经机器翻译

    本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

    Jul, 2017

  • 利用图卷积网络在神经机器翻译中挖掘语义

    本论文首次将源句子的谓词 - 论元结构（即语义角色表示）信息融入神经机器翻译中，利用图卷积网络将语义偏差注入到句子编码器中，在英语 - 德语语言对上取得了 BLEU 分数上的提高。

    Apr, 2018

  • 动态图卷积网络

    该论文提出了两种结合长短时记忆网络和图卷积网络的方法以联合利用结构化数据和时间信息来管理动态图，通过实验结果证明了这种方法的优越性。

    Apr, 2017

  • 密集连接图卷积网络用于图到序列学习

    本研究通过图卷积网络（GCN）对图进行编码，引入了一种新的密集连接策略，提出了一种新型的密集连通图卷积网络（DCGCN）来集成本地和非本地特征，以更好地学习图的结构表示，并在 AMR-to-text 生成和基于语法的神经机器翻译上明显优于现有的神经模型。

    Aug, 2019

  • 具有语法感知的复数神经机器翻译

    本研究提出了一种将语法信息与复数编码器 - 解码器结构相结合的方法，通过注意力机制从源端到目标端联合学习单词级和语法级注意力分数，可以直接集成到任何现有的序列到序列框架中，并在两组数据集上表现出很大的 BLEU 分数提高，特别是在具有显著语法差异的语言对的翻译任务中表现出更大的改进。

    Jul, 2023

  • 一种基于语法的结构化 CNN 解码器用于代码生成

    本文提出了基于语法的结构卷积神经网络用于代码生成，该模型可以预测编程语言的语法规则并生成代码，实验结果表明，相较于现有的循环神经网络方法，本文所提出的模型大幅提高了 5 个百分点的性能。

    Nov, 2018

  • 利用 BERT 和图注意力实现机器翻译的句法知识

    通过图注意力模型与 BERT 共同表示源语言的句法依赖特征，以丰富源语言的表示并指导目标语言生成，提出了用 SGB 在机器翻译中获取句法知识。这个模型的实验显示，在不损失 BLEU 得分的情况下，可以提高翻译质量，同时探索了句子长度对此的影响以及 GAT 识别的依赖关系。

    May, 2023

  • 神经文本生成的显式句法指导

    我们提出了一种基于句法树的语法引导生成模式，通过解码过程的两个部分:（1）对给定源句子中词汇化的句法上下文中的每个成分预测填充文本；（2）映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本，并在重述生成和机器翻译上进行了实验。与自回归基线相比，该方法在有效性和可解释性方面更加出色。

    Jun, 2023