COLINGOct, 2016

基于树形结构注意力编码器的句对建模

PDF
TL;DR本文介绍了一种关注编码器，结合了树状递归神经网络和序列循环神经网络，用于对模拟句子对。我们的关注编码器将 RNN 生成的一个句子的表示用于指导另一个句子的结构编码，评估结果表明，在语义相似度和释义选择方面，我们的编码器优于所有基线，并取得了最佳结果。
attentive encoderrecursive neural networksdependency parse treesemantic similarityparaphrase identification
发现论文，激发创造
  • 使用注意力递归树嵌入句子的学习

    本文提出了一种新的 Attentive Recursive Tree 模型，它可以根据任务动态地定位一个句子中的重要单词，在底向上进行句子嵌入的组成时，AR-Tree 可以内在地强调重要单词。通过一种端到端的加强训练策略，该模型在三个句子理解任务上表现出色。

    Nov, 2018

  • 具有潜在树状注意力的神经机器翻译

    我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型，利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构，从而训练出在字符级数据集中相当不错的分割和浅层解析表现，接近注意力基准。

    Sep, 2017

  • 用于改进情感分析的结构化注意力神经网络

    本文提出了一种基于树形结构的注意力神经网络模型，用于情感分类问题。该模型使用自下向上和自上而下的信息传播结合语法树中节点周围的结构信息。模型在构建句法树时，利用结构注意力识别最显著的表示。实验结果表明，该模型在斯坦福情感树库数据集上实现了最先进的性能表现。

    Jan, 2017

  • 带有结构注意力的神经抽象摘要

    本文提出了一种基于结构化注意力的分层编码器，用于建模句内和文档间相互依赖关系，在多文档摘要生成任务中表现出显著的改进，击败了现有的模型。

    Apr, 2020

  • 稠密连接循环和协同信息的语义句子匹配

    本文提出了一种基于 DenseNet 的密集连接共同注意递归神经网络来处理句子匹配问题，并在竞争激烈的基准数据集上验证了其在注意特征和重要信息方面的优势，实现了最先进的性能水平。

    May, 2018

  • 基于注意力机制的神经机器翻译双向分层表示

    本文提出了一种层次注意机制的神经翻译模型，采用双向树形编码器来增强源端层次表示，用加权变异的注意机制平衡词汇和短语向量之间的信息，通过树形稀有词编码将该模型扩展至亚字级别以缓解词汇缺失的问题，实证结果表明，该模型在英汉翻译任务中显著优于序列到序列的注意力机制和基于树的神经翻译模型。

    Jul, 2017

  • 将依存树整合到自注意力机制中的句子表示

    提出了一种依赖转换器的模型，它采用自注意机制与关系注意机制的协同作用来编码句子依存树中节点之间的依赖关系和空间位置关系，并成功注入了语法信息，提高了模型对句子的表示能力和计算效率。

    Mar, 2022

  • 从自动挖掘的同义句训练有效的神经句子编码器

    本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

    Jul, 2022

  • 基于自顶向下树形解码与句法连接的神经机器翻译与句法分析

    本文提出了一种基于 DRNN 的序列到树的 NMT 模型 (称为 Seq2DRNN)，该模型在树结构解码中结合了序列编码器和句法感知机制，并使用语法结构信息从而能够生成更流畅的翻译结果，同时可以进行成分句法分析。

    Sep, 2018

  • ABCNN：基于注意力机制的卷积神经网络用于建模句对

    提出了一种基于注意力机制的卷积神经网络 (ABCNN)，可用于模拟一对句子，将句子表示法相互考虑，从而获得 AS、PI 和 TE 任务上的最佳表现。

    Dec, 2015